- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【NLP | 关系抽取】阅读总结2018年
写在前面2019年以前的大部分已读论文之前已经整理到excel里了，但还是想在博客上补一下档，如果之后重读论文有新的想法，估计在excel上自己是懒得更新了，写在博客上督促一下自己233目录ACL[1] A Walk-based Model on Entity Graphs for Relation Extraction[2] Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning[3] Extract
2020-06-16 00:00:22
402
原创 【CV | Probabilistic End-to-end Noise Correction for Learning with Noisy Labels】阅读笔记
Probabilistic End-to-end Noise Correction for Learning with Noisy Labels阅读笔记zx
2020-06-15 23:46:45
1444
原创 （更新中）【NLP | 关系抽取】阅读总结2019年
【NLP | 关系抽取】阅读总结2019年(不定期更新)写在前面：几个月以来读了一些论文，但总结工作并不到位，反思了一下还是决定拾起来博客重新记录总结整理的过程，愈加意识到学习过程中的总结十分重要，时刻对自己保持高水准的要求才有进步的空间，学无止境，以此自勉！目录【NLP | 关系抽取】阅读总结2019年(不定期更新)ACL[1] ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation
2020-06-11 12:09:25
734
原创 CS31n 学习笔记（十八）
时间：2019/4/12内容：语言模型课时22：语言模型以上方法不用反向传播遍历整个序列，而是分子序列反向传播 阅读提到的论文
2019-04-12 07:43:56
286
原创 CS231n 学习笔记（十七）
时间：2019/4/11内容：RNN课时21：RNN可以参考：https://zybuluo.com/hanbingtao/note/581764（该系列文章对RNN讲得很透彻）
2019-04-11 14:38:33
193
原创 CS231n 学习笔记（十六）
时间：2019/4/10内容：CNN框架AlexNetfirst layer: CONV1有96个卷积核，因此输出的深度是96，输出体积为[555596]每一个卷积核都会处理一个11113的数据块，因为输入数据的深度是3（RGB三通道）。因此总参数是11113*96second layer:POOL1池化层没有参数。参数即为我们需要训练的参数，卷积层有我们需要训练的权重...
2019-04-10 16:37:25
264
原创 CS231n 学习笔记（十四）
时间：2019/4/5内容：迁移学习课时18：迁移学习过拟合的原因是数据量太小，但使用迁移学习可以使得不用大数量集也可以训练神经网络，思想：首先找到一些卷积神经网络，用大数量集训练整个网络，然后把从这个数据集中训练出的提取特征的能力用到更感兴趣的小数据集上。这里数据集只有C个类别（比大数据集少），接着修改从最后一层的特征到最后的分类输出之间的全连接层，需要重新随机初始化最后的矩阵，冻结前面...
2019-04-05 14:53:07
455
原创 CS231n学习笔记（十三）
时间：2019/4/4内容：更好的优化、正则化接上一份学习笔记，继续讲Adam使用Adam，我们使用第一动量和第二动量的估计值。上图红框里，我们让第一动量的估计值等于梯度的加权和。我们有一个第二动量的动态估计值（AdaGrad,RMSProp），是一个梯度平方的动态近似值，下面我们来看如何更新他们。我们使用第一动量（类似于速度），并除以第二动量平方根在最开始时会得到一个很大的步...
2019-04-04 21:37:00
282
原创 CS231n 学习笔记（十二）
时间：2019/4/3内容：更好的优化课时16：更好的优化（加油！理论学好就能开始学习框架了）之前学过的内容有：各种激活函数权重初始化（较好的选择：Xavier、MSRA，这样学习深度网络时，每一层的激活值会有很好的分布；网络越来越深时，权重的初始化会变得至关重要，因为随着网络的变深，你会不断乘以那些权重矩阵）数据预处理（zero-centered、norma...
2019-04-03 22:01:20
533
原创 CS231n 学习笔记（十一）
时间：2019/4/2内容：批量归一化、监视学习过程、超参数优化课时15：批量归一化等批量归一化 参考论文https://arxiv.org/abs/1502.03167我们想要在高斯范围内保持激活。如果想要正确激活单位高斯函数，可以取目前批量处理的均值，然后用均值和房差来进行归一化。因此基本上我们在训练开始时才设置这个值，而不是在权重初始化的时候，以便我们能够在每一层都有很好的单...
2019-04-02 19:39:48
298
原创 CS231n 学习笔记（十）
时间：2019/4/1内容：激活函数课时14：激活函数以上步骤：对数据进行连续批量抽样通过使用计算图或神经网络将数据进行正向传播，最终得到损失值通过整个网络的反向传播来计算梯度然后使用这个梯度来更新网络中的参数或权重下面几节课将讨论网络训练过程中的细节。包括，在开始时要如何建立起神经网络、选择怎样的激活函数、怎样做数据预处理、权重初始化、正则化和梯度检查、训练中的动态变化、监...
2019-04-01 21:00:45
269
原创 CS231n assignment1 KNN
时间：2019/3/25内容：assignment1-KNN参考网上大佬的代码。还是计算机视觉小白，代码解释纯属个人理解，有错误欢迎指正~先上完整代码import numpy as npclass KNearestNeighbor(object): """ a kNN classifier with L2 distance """ def __init__(self):...
2019-03-31 22:36:50
276
原创 CS231n 学习笔记（九）
时间：2019/3/31内容：视觉之外的CNN课时12：视觉之外的CNN将每个filter（卷积核）以相同的方式滑过整个图像空间，他们具有相同的权重和参数注意：卷积核的数量就是得到输出的深度上图中这些不同的卷积核作用于图像中相同的区域，而且他们有相同的参数，但他们的作用是不同的与全连接作对比：对于全连接，在激活区域或者输出中，每一个神经元都连接这平展后的所有输入，所以神经...
2019-03-31 20:51:25
222
原创 CS231n 学习笔记（八）
时间：2019/3/30内容：卷积和池化课时12：卷积和池化全连接层卷积层卷积层和全连接层最大的区别是它可以保留空间结构。我们不用将图片像上述用全连接层处理那样将其展开成一个长向量，可以保持图片三维输入的结构每个卷积核大小是5*5，一共有3个卷积核工作细节：激活映射里的值就是卷积核在每个位置求得的结果。当我们处理一个卷积层时，我们希望用到多种卷积核。例如下图用到了6个卷积核...
2019-03-30 10:16:33
170
原创 CS231n 学习笔记（七）
时间：2019/3/29内容：神经网络、CNN历史课时10：神经网络（上图中结构图中的h是max(0, W1x)）顶层有一个线性变换，然后有一个非线性计算，继而在顶层在加入另一个线性层。神经网络就是由简单函数构成的一组函数，在顶层堆叠在一起（用一种层次化的方式将它们堆叠，为了形成一个更复杂的非线性函数），这就是基本的多阶段分层计算实现的手段：将多个线性层堆叠在顶层和其他非线性函数结合...
2019-03-29 10:59:04
319
原创 CS231n 学习笔记（六）
时间：2019/3/28内容：反向传播课时9：反向传播（表示莫名喜欢这一讲的内容）已学内容：用f定义一个分类器，权重矩阵W是f的参数，输入数据x并对象要分类的每个类别都输出一个对应的得分向量定义损失函数，体现对模型预测结果满意或是不满意的程度，并用它定义一个总的损失函数（loss+regularization）正则项表示模型的复杂程度。为了更好的泛华，我们倾向取简单的模型接下来...
2019-03-28 21:44:51
615
原创 CS231n 学习笔记（五）
时间：2019/3/27内容：优化课时8：优化注意：x可能是整个向量梯度是偏导数组成的向量，它和x的形状一样，它指向函数增长最快的方向；负梯度指向函数下降最快的方向任意方向的斜率等于这一点上梯度和该点单位方向向量的点积在计算机上计算梯度的一个简单方法是有限差分法迭代计算所有W维度，一直重复下去直到计算完dW。这种方法是数值梯度法，过程非常慢。实际上，我们会使用另一种分析梯...
2019-03-27 15:53:04
280
原创 CS231n 学习笔记（四）
时间：2019/3/26内容：损失函数，正则项课时七：损失函数上一课时补充内容线性分类属于参数分类的一种线性分类可解释为每一种分类的学习模板对图里的每个像素以及多个分类里的每一项，矩阵W里都有一些对应的项，告诉我们那个像素对那个分类有多少影响。即，矩阵W的每一行都对应一个分类模板,一张图像对应不同分类的得分，是通过使用内积（也叫点积）来比较图像和模板，然后找到和哪个模板最相似。从这个...
2019-03-26 19:40:10
217
原创 CS231n 学习笔记（三）
时间：2019/3/25内容：线性分类课时6：线性分类线性分类器是深度学习应用程序中最基本的构建模块之一，是参数模型中最简单的例子。在KNN算法中没有设置参数，通常会保留所有种类的是训练集并在测试时使用。但现在，在一个参数化的方法中，我们将总结我们对训练数据的认识并将其运用到参数W中，测试时只需要W。注意：x是一个长向量；b是偏置项，它不与训练集数据交互，而只会给我们一些数据独立的偏...
2019-03-25 16:24:06
240
原创 CS231n 学习笔记（二）
时间：2019/3/24内容：1.数据驱动方法 2.KNN任务： 完成Assignment1 Q1https://cs231n.github.io/assignments2018/assignment1/课时4：数据驱动方法numpy教程：http://cs231n.github.io/python-numpy-tutorial/Google Cloud教程:http:/...
2019-03-24 10:08:29
351
原创 CS231n 学习笔记（一）
时间：2019/3/23内容：1.计算机视觉概述2.计算机视觉历史背景https://study.163.com/course/courseLearn.htm?courseId=1004697005#/learn/video?lessonId=1049395813&courseId=1004697005课时1：计算机视觉概述若无基础，可先学习CS131（深度学习、自然语言处理...
2019-03-23 09:43:49
394
原创 解决face_recognition Windows安装问题
解决face_recognition Windows安装问题之前电脑上下的是python3.5（因为当时tensorflow只支持3.5），最近想尝试用face_recognition实现人脸识别，但卡在了安装face_recognition上。后来发现face_recognition貌似只支持dlib19.7以上，而python3.5没有找到那么高的dlib版本。。。所以就下一个python...
2019-03-13 12:09:33
1222
an introduction to network programming with java
2019-01-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人