paper read weekly(three) 一晃过去一周多了，白驹过隙里的8月，尾巴里的日子，既盼着早些过去，又心里暗许着每一秒的珍贵。 我热爱一切的需要等待和沉淀：琥珀里的时间，微暗的灯火，那忽明忽暗的未来，那在路上向彼此靠近的我们。
Paper read weekly(one) 其实每周boss都会在周例会上给算法组的每个人留一个下周发散任务。最近更是和DeepMind死磕上了。。。基本上是出一篇读一篇，出一堆，全组人都上的节奏。这不，老板一下子给我安排了两篇。。。
17年 | 重开blog | 关于对称网络的的一点想（kun）法（huo） 距离上篇blog已经一年又近半载了。这之间，遇见科研，遇见跑步，遇见她，遇见别样的自己。重开blog，重拾初心，一切都是刚刚好，重头再来也没什么不可以。
neural network and deep learning笔记（2） 上次读到这本书的第二章，第三章的内容较多，也做了一些扩展，所以单独出来。 #“In fact, with the change in cost function it’s not possible to say precisely what it means to use the “same” learning rate.”Cross -entropy function is a way to s
neural network and deep learning笔记（1） neural network and deep learning 这本书看了陆陆续续看了好几遍了，但每次都会有不一样的收获。DL领域的paper日新月异，每天都会有很多新的idea出来，我想，深入阅读经典书籍和paper，一定可以从中发现remian open的问题，从而有不一样的视角。
CNN的新进展（2） 本周主要学习内容包括上次blog未尽部分以及对经典文章的精读总结和思考。CNN中对损失函数（Loss function）的选择因问题类型的不同而有各异的合适选择。应用的比较多的包括S Softmax loss，Hinge loss和Contrastive loss。还有一些比较常用的正则化方法，诸如dropout/dropconnect以及学习连接的重要性等方法。dropout是在全连接层随机dro
CNN的新进展（1） 本文将从三个方面来介绍：1. CNN网络结构的改善优化； 2. CNN网络训练中更快的计算方法； 3. CNN在各个领域的最新应用；1. CNN网络结构的改善优化之Conv层； CNN典型的网络结构和单元包括：卷积层、池化层、激活函数、损失函数以及正则化和最优化。卷积层的细化：这里介绍两个最新的进展，分别是NIN和Inception moduel。NINNIN的motivation是
LR(Logistic Regression)深入理解 （续） 因为实习，耽搁了些许时间，这是上一篇的未完成部分。特此补上。 本文要解决的有两个问题：1. LR和ME（最大熵）的关系 2. LR的并行化
LR(Logistic Regression)深入理解 这篇文章是对博客http://blog.csdn.net/cyh_24/article/details/50359055内容的搬运，个人感觉作者写得很好，所以自己想从头到尾“誊写”一遍，以便理解透彻。谢谢作者的辛苦总结~ PS：因为实习，将近3个月没有再写论文笔记了，该篇算是一个开头，后边一定要保证每周一篇阅读笔记。
FaceNet: A Unified Embedding for Face Recognition and Clustering 本文有以下几个亮点：一是利用DNN直接学习到从原始图片到欧氏距离空间的映射，从而使得在欧式空间里的距离的度量直接关联着人脸相似度；二是引入triplet损失函数，使得模型的学习能力更高效。 本文的模型示意图如上，输入层后紧接着DNN，然后再运用L2正则化避免模型的过拟合，最后接上triplet损失函数层，以反映在人脸验证、识别和聚类中所想要的结果。这里的关键就是triplet损失函数的确定，我们想
neural network and deep learning(笔记二) 第二章：BP算法详解首先需要理解的是权值的含义，wji是连接L-1层的第i个神经元和L层第j个神经元的权值。同时输入层和输出层不存在偏置。由下边公式可知，权值角标的安排是为了更直观的看到上一层的作为下一层的输入。L-1为0时激活值就是输入。 我们再来看目标函数：与第一章一样，仍然运用的是MSE。 接下来我们来看一个新概念：δji，表示L层第j个单元存在的误差。该单元输入微小的变化∆Zji会导
neural network and deep learing(笔记一) 第一章：运用NN识别手写数字人工智能已经在几乎所有需要思考的领域超过了人类,但是在那些人类和其它动物不需要思考就能完成的事情上,还差得很远 ——Donald Knuth正如上边这句话所言，我们在识别数字时完全是无意识的情况下完成的，但想要将这一动作抽象成计算机程序却是十分困难的。比如对数字9的解析：其上边是个圈，右下方是
Which GPU(s) to Get for Deep Learning（译文） 当我们在DL中运用GPU进行运算时，它所能带来的速度上的提升一次又一次的使我们感到震惊：其运算速度一般比CPU快10倍，而在更复杂的问题上会快20倍。利用GPU你能更快地去实践新的想法、算法和实验，并且能及时得到反馈，知道哪些方法有作用，哪些只是徒劳。如果你真的想深入DL的学习，拥有自己的GPU是很有必要的。但你到底该选择哪种GPU呢？本文将给出一些具体的建议。在开始学习DL时，拥有一个高速的GPU
Must known Tips/Tricks in Deep Neural Networks(译文) 深度神经网络（DNN），尤其是卷积神经网络（CNN），使得由多个处理层组成的运算模型可以学习到数据的多层抽象表示。这些方法极大地提高了视觉物体识别、物体探测、文本识别以及其他诸如药物发现和生物学等领域的最先进的水准。除此之外，很多关于这些主题的具有实质性内容的文章也相继发表，同时很多高质量的CNN开源软件包也被广泛传播。当然也出现了很多有关CNN的教程和CNN软件使用手册。但是，唯一缺少的可能是一个
论文笔记（3）You Only Look Once:Unified, Real-Time Object Detection 本文旨在实现图像中的物体检测，和之前的R-CNN不同的是，它利用一个单一的CNN，完成了在整个图像上bounding box和类别概率的预测。这既使得它可以实现end-to-end的优化，同时也提高了框架的速度。基于R-CNN的框架，都是先利用region proposal来生成bunding-box，然后利用CNN在box中提取提取特征，再利用分类器进行分类。而且为了优化bounding-box的
Batch Normalized Recurrent Neural Networks 本文探讨了BN算法在RNN中的作用。在FNN中BN的使用使得网络收敛更快，但本文实验发现，若把BN放在隐含层之间，并不能提高收敛速度，而将其放在输入层和隐含层之间时可以加速收敛，但泛化能力并未得到提高。我们先来看看文中提及的一些知识点。 RNN在语音识别、机器翻译、语言建模等方面得到广泛应用，而针对RNN中的梯度消失问题又提出了其升级版LSTM。现在常见的RNN结构是stacked型，但训练深层网
关注
