ling00007的博客

1、什么是SVM？SVM(Support Vector Machines)，一个普通的SVM是一条直线，用来完美划分linearly separable 的两类。但这又不是一条普通的直线，这是无数条可以分类的直线中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的Support vetor 就是这些离分界线最近的点。如果去掉这些点，直线多半会改变位置，所以说这些vector（

主要内容：网络越深，优化越难（此即梯度消失或梯度爆炸问题），但是有时候增加深度反而会加速网络优化。同时提出端到端更新规则，证明深度网络过度的参数化（overparameterization）也可能是件好事。lplpl_p回归以标量线性回归做实验，发现对一个网络进行过参数化操作，并没有改变网络的表现力，但却生成了非凸目标函数。而过度参数化不仅仅加速了梯度下降，而且其加速效果还优于两个...

1、卷积神经网络的工作过程放进网络中的可以是一个个batch的放（一个batch假设有250张照片），输入的数据是一个4维的数据，最后输出的是多个图片的loss。做反向传播训练参数的时候可以全部loss一起算，比如把全部loss加和得到一个LOSS。 假设损失函数是||y−f(x)||2||y−f(x)||2||y-f(x)||^2,损失函数对x求导，得到的dw=2(y−f(x))(αf(x...

1. Inception-v3 （Dec，2015） 2. ResNet（Dec，2015） 3. nception-v4（Aug，2016） 4. Dual-Path-Net （Aug，2017） 5. Dense-net（Aug，2017） 6. SEnet（Sep，2017） 7.Wide Residual Networks（Jun 2017）

关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。LeNet5，1994年Alexnet，2012年VGG，2014年Network-in-networkGoogleNet，2014年ZFnet, 2014年Lenet5 LeNet5 诞生于 1994 年，是最早的卷积神

论文《通过随机哈希实现可扩展、可持续的深度学习》（Scalable and Sustainable Deep Learning via Randomized Hashing），已经作为 Oral 被 KDD 2017 接收，虽然论文的同行评议版本要到 KDD 召开时才能得知，通过网上的资料，我们可以看到去年底 Spring 在 arXiv 上传的论文预印版（地址：https://arxiv.o

一、BP算法的意义 对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算法，具有非凡的历史意义和重大的现实意义。1.1 历史意义 1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR

1、首先理解一下二元的梯度下降如何直观形象的理解方向导数与梯度以及它们之间的关系？https://www.zhihu.com/question/36301367方向导数与梯度 http://netedu.xauat.edu.cn/jpkc/netedu/jpkc/gdsx/homepage/5jxsd/51/513/5308/530807.htm

从神经网络到卷积神经网络（CNN）我们知道神经网络的结构是这样的：那卷积神经网络跟它是什么关系呢？其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。卷积神经网络的层级结构      • 数据输入层/ Input layer　　• 卷积计算层/ CONV laye

object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。object detection技术的演进：RCNN->S

这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Langu

1、定义假设我们有一个数组V，Vi表示V中的第i个元素，那么这个元素的softmax值就是也就是该元素的指数，与所有元素的指数和的比值。2、计算与标注样本之间的差距在神经网络的计算当中，我们经常需要计算按照神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2，之间的差距，计算Loss，才能应用反向传播。Loss定义为交叉熵。取log里面的值就是这组数据

论文：《Softmax regression based deep sparse autoencoder network for facial emotion recognition in human-robot interaction》这篇论文发表在Information Sciences 428 (2018) 49–61,主要作者是Luefeng Chen, Mengtian Zhou, ...