良言的博客

1. DeepFace        最早将深度学习用于人脸验证的开创性工作。Facebook AI实验室出品。动用了百万级的大规模数据库。典型的识别信号提特征+验证信号refine的两步走，对DeepID等后人的工作影响很大。技术概括关注了人脸验证流程中的人脸对齐步，采用了比较复杂的3D人脸建模技术和逐块的仿射变换进行人脸对齐。可以解决non-planarity对齐问题。提出了一

2014年imageNet挑战赛冠军，Inception系列的开创者，caffe作者贾扬清，google研发……使这篇论文成为深度学习与视觉领域的必读论文，两年时间引用量过千。私以为文中理论部分有点啰嗦，反复强调sparse structure。但精彩之处还是其提出的一种特殊的inception网络结构。技术概括提出了一种新型的网络组建单元Inception。其特点是将几种操作并行化，

这篇论文引用量并不算高，但是提出了一个很有意思观点，就是将全连接层与卷积层统一起来。后续的很多经典网络结构，包括googlenet，FCN，应该都受其启发。作者是颜水成团队，caffe的model zoo也有见到nin的身影，还是很有影响力的。技术概括改进了传统CNN的结构。将每个卷积层用一个小型的权值共享的多层全连接神经网络（即多层感知机，mlp）代替，据说比单纯的卷积操作具有更好的

这是CNN复兴的开创之作，个人认为比Hinton老爷子Science上那篇具有更重要的实际意义。有人问CNN怎么调参，其实大部分的答案这篇论文里都能找到。深度CNN最佳启蒙之作，没有之一。技术概括将浅层CNN扩展到8层的深度CNN，扩展了CNN的learning capacity。对CNN进行多项改造，可以加快收敛速度、防过拟合、多卡并行。数据扩充方法。调参理论和方法。一些值得反思

在各种对SVM的讲解中，有一个知识点都讲得不够透彻：SVM的目标函数是最大化支持向量的几何间隔，但怎么最后就变成了最小化法向量（斜率）了呢？       可以想像一下，一个超平面，斜率和截距以相同的倍数增大，这个超平面是不变的。也就是说，一个固定的超平面的参数却是不固定的。在我们求最优超平面时，解空间也就变成了无穷大。我们当然可以通过预先给这些参数设定一些约束来缩小解空间。那么，这个约束就是：

第一次读这篇传奇之作大概是九年前了，也就是2007年，而那时距论文正式发表（2004年）也已经有四年之久了。现在读来，一些想法，在深度学习大行其道的今天仍然具有借鉴意义，让人敬佩不已。        VJ人脸检测器应该是历史上第一个成功商业应用的实时人脸检测器。我估计现在相机和手机上的人脸检测算法绝大部分还是VJ或VJ算法的徒子徒孙。OpenCV当年也是凭借VJ算法的集成而一炮走红，到现在还是