机器学习
默语之声
这个作者很懒,什么都没留下…
展开
-
深度学习: 数据增强(Data Augmentation)
数据扩充(data augmentation),又名 数据增强 / 数据增广。在深度学习中,当数据量不大时可能会导致过拟合,使得训练误差很小,但测试误差却特别大。怎么办呢,你又没钱买数据?显然最好的办法(之一,其他方法请参看“当数据量不够大的时候”)就是自己“造”数据——人工增加训练集的大小,也就是Data Augmentation Transformation。不同的任务背景下,通常我们可以...原创 2019-04-09 17:07:33 · 4921 阅读 · 0 评论 -
深度学习:迁移学习(Transfer learning)
深度学习中,最强大的理念之一就是迁移学习,有的时候神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中。所以例如,也许你已经训练好一个神经网络,能够识别像猫这样的对象,然后使用那些知识,或者部分习得的知识去帮助您更好地阅读x射线扫描图,这就是所谓的迁移学习。具体来说,在第一阶段训练过程中,当你进行图像识别任务训练时,你可以训练神经网络的所有常用参数,所有的权重,所有的层,然...原创 2019-04-09 16:25:33 · 7236 阅读 · 0 评论 -
深度学习:Inception网络
构建CNN时,你要决定卷积核的大小,是1x3合适,还是3x3合适,还是5x5合适?要不要添加pooling层?做这些决定(很可能是通过grid search)很麻烦,对吧?Inception网络的优点,就是能代替你做决定。Inception层的基本思想Inception层是Inception网络中的基本结构。Inception层的基本原理如下图:Inception层中,有多个卷积层结构(...转载 2019-04-08 15:39:29 · 610 阅读 · 0 评论 -
深度学习:ResNet(残差网络)
ResNet在ILSVRC2015竞赛中惊艳亮相,一下子将网络深度提升到152层,将错误率降到了3.57,在图像识别错误率和网络深度方面,比往届比赛有了非常大的提升,ResNet毫无悬念地夺得了ILSVRC2015的第一名。如下图所示:一说起“深度学习”,自然就联想到它非常显著的特点“深”,通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此,我们自然很容易就想到:深的网络一般会...原创 2019-04-08 14:39:52 · 14261 阅读 · 7 评论 -
深度学习:局部响应值归一化(Local Response Normalization,LRN)
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。在ALexNet中,提出了LRN层,对局部神经元的活动创建竞争机制,LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象(侧抑制)。Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:公式看上去比较复杂,但理...原创 2019-04-02 15:20:23 · 1010 阅读 · 0 评论 -
深度学习:多目标检测之anchor box
无论是基于滑动窗口,还是基于网格YOLO的目标检测算法,都有可能存在同一个问题:有可能一个BOX中有多个目标,如下图所示:这样的图中,行人和车同时存在,并且他们的中心位置都位于同一个网格中。这种情况下,传统检测方法的输出,就无法胜任了。怎么解决这个问题呢?对于这个例子,我们引入Anchor Box,如下图所示,我们这里只用两个Anchor Box,说明同一个网格中最多可能存在两类物体。Anc...原创 2019-04-10 17:35:28 · 1415 阅读 · 0 评论 -
深度学习:卷积实现滑动窗口(Convolutional implementation of sliding windows)
一、FC网络在有全连接层的网络中,第一个FC是将上一层5516的多维数据拉成一行,转化为11400,在通过一个变换矩阵,变成第二个FC,然后经过softmax输出预测结果。二、全卷积网络在全卷积网络中,我们通过卷积替换掉全连接,具体做法是:1.在第一个FC处,使用400个5516的卷积核对上一层layer进行处理,得到的输出是11400。这样,输出中每一个值都包含了一个5516的卷积核。...原创 2019-04-10 10:44:34 · 3906 阅读 · 1 评论 -
logistic逻辑回归算法推导
逻辑回归:解决分类问题在线性回归的基础上,通过激活函数sigmod转换为0-1概率值大小。损失函数越靠近0,1,cost越大。为凸函数,可以通过梯度下降方法求得最小值。函数图如下:梯度下降法求最低值函数求导前半部分的导数后半部分的导数相加结果:求导总结:...原创 2019-03-09 19:19:34 · 270 阅读 · 0 评论 -
论文阅读计划
文档:论文阅读计划.note链接:http://note.youdao.com/noteshare?id=f3977155140563318c7d5e2b49f6f48b&sub=2A4ADFE7A7234596BFFFE8FD50EC48BE原创 2019-08-05 14:44:55 · 321 阅读 · 0 评论