visonpon-CSDN博客

上次读到这本书的第二章，第三章的内容较多，也做了一些扩展，所以单独出来。 #“In fact, with the change in cost function it’s not possible to say precisely what it means to use the “same” learning rate.”Cross -entropy function is a way to s

2016-04-02 14:04:02 1177

原创 neural network and deep learning笔记（1）

neural network and deep learning 这本书看了陆陆续续看了好几遍了，但每次都会有不一样的收获。DL领域的paper日新月异，每天都会有很多新的idea出来，我想，深入阅读经典书籍和paper，一定可以从中发现remian open的问题，从而有不一样的视角。

2016-03-27 10:34:39 3265 1

原创 CNN的新进展（2）

本周主要学习内容包括上次blog未尽部分以及对经典文章的精读总结和思考。CNN中对损失函数（Loss function）的选择因问题类型的不同而有各异的合适选择。应用的比较多的包括S Softmax loss，Hinge loss和Contrastive loss。还有一些比较常用的正则化方法，诸如dropout/dropconnect以及学习连接的重要性等方法。dropout是在全连接层随机dro

2016-03-12 20:49:28 1719

原创 CNN的新进展（1）

本文将从三个方面来介绍：1. CNN网络结构的改善优化； 2. CNN网络训练中更快的计算方法； 3. CNN在各个领域的最新应用；1. CNN网络结构的改善优化之Conv层； CNN典型的网络结构和单元包括：卷积层、池化层、激活函数、损失函数以及正则化和最优化。卷积层的细化：这里介绍两个最新的进展，分别是NIN和Inception moduel。NINNIN的motivation是

2016-03-05 16:04:15 2729

原创 LR(Logistic Regression)深入理解（续）

因为实习，耽搁了些许时间，这是上一篇的未完成部分。特此补上。本文要解决的有两个问题：1. LR和ME（最大熵）的关系 2. LR的并行化

2016-01-23 13:57:14 4284

原创 LR(Logistic Regression)深入理解

这篇文章是对博客http://blog.csdn.net/cyh_24/article/details/50359055内容的搬运，个人感觉作者写得很好，所以自己想从头到尾“誊写”一遍，以便理解透彻。谢谢作者的辛苦总结~ PS：因为实习，将近3个月没有再写论文笔记了，该篇算是一个开头，后边一定要保证每周一篇阅读笔记。

2016-01-22 15:21:22 13741 1

原创 FaceNet: A Unified Embedding for Face Recognition and Clustering

本文有以下几个亮点：一是利用DNN直接学习到从原始图片到欧氏距离空间的映射，从而使得在欧式空间里的距离的度量直接关联着人脸相似度；二是引入triplet损失函数，使得模型的学习能力更高效。本文的模型示意图如上，输入层后紧接着DNN，然后再运用L2正则化避免模型的过拟合，最后接上triplet损失函数层，以反映在人脸验证、识别和聚类中所想要的结果。这里的关键就是triplet损失函数的确定，我们想

2015-10-31 15:21:40 3103

原创 neural network and deep learning(笔记二)

第二章：BP算法详解首先需要理解的是权值的含义，wji是连接L-1层的第i个神经元和L层第j个神经元的权值。同时输入层和输出层不存在偏置。由下边公式可知，权值角标的安排是为了更直观的看到上一层的作为下一层的输入。L-1为0时激活值就是输入。我们再来看目标函数：与第一章一样，仍然运用的是MSE。接下来我们来看一个新概念：δji，表示L层第j个单元存在的误差。该单元输入微小的变化∆Zji会导

2015-10-25 15:16:59 924

原创 neural network and deep learing(笔记一)

第一章：运用NN识别手写数字人工智能已经在几乎所有需要思考的领域超过了人类,但是在那些人类和其它动物不需要思考就能完成的事情上,还差得很远 ——Donald Knuth正如上边这句话所言，我们在识别数字时完全是无意识的情况下完成的，但想要将这一动作抽象成计算机程序却是十分困难的。比如对数字9的解析：其上边是个圈，右下方是

2015-10-25 14:48:30 792

翻译 Which GPU(s) to Get for Deep Learning（译文）

当我们在DL中运用GPU进行运算时，它所能带来的速度上的提升一次又一次的使我们感到震惊：其运算速度一般比CPU快10倍，而在更复杂的问题上会快20倍。利用GPU你能更快地去实践新的想法、算法和实验，并且能及时得到反馈，知道哪些方法有作用，哪些只是徒劳。如果你真的想深入DL的学习，拥有自己的GPU是很有必要的。但你到底该选择哪种GPU呢？本文将给出一些具体的建议。在开始学习DL时，拥有一个高速的GPU

2015-10-24 20:47:10 1850

翻译 Must known Tips/Tricks in Deep Neural Networks(译文)

深度神经网络（DNN），尤其是卷积神经网络（CNN），使得由多个处理层组成的运算模型可以学习到数据的多层抽象表示。这些方法极大地提高了视觉物体识别、物体探测、文本识别以及其他诸如药物发现和生物学等领域的最先进的水准。除此之外，很多关于这些主题的具有实质性内容的文章也相继发表，同时很多高质量的CNN开源软件包也被广泛传播。当然也出现了很多有关CNN的教程和CNN软件使用手册。但是，唯一缺少的可能是一个

2015-10-21 19:54:24 2755

原创论文笔记（3）You Only Look Once:Unified, Real-Time Object Detection

本文旨在实现图像中的物体检测，和之前的R-CNN不同的是，它利用一个单一的CNN，完成了在整个图像上bounding box和类别概率的预测。这既使得它可以实现end-to-end的优化，同时也提高了框架的速度。基于R-CNN的框架，都是先利用region proposal来生成bunding-box，然后利用CNN在box中提取提取特征，再利用分类器进行分类。而且为了优化bounding-box的

2015-10-16 11:03:08 7295 1

原创 Batch Normalized Recurrent Neural Networks

本文探讨了BN算法在RNN中的作用。在FNN中BN的使用使得网络收敛更快，但本文实验发现，若把BN放在隐含层之间，并不能提高收敛速度，而将其放在输入层和隐含层之间时可以加速收敛，但泛化能力并未得到提高。我们先来看看文中提及的一些知识点。 RNN在语音识别、机器翻译、语言建模等方面得到广泛应用，而针对RNN中的梯度消失问题又提出了其升级版LSTM。现在常见的RNN结构是stacked型，但训练深层网

2015-10-10 10:09:01 1515

原创论文笔记（1）DenseBox: Unifying Landmark Localization with End to End Object Detection

本文的贡献有一下几点： 1，实现了end-to-end的学习，同时完成了对bounding box和物体类别的预测； 2，在多任务学习中融入定位信息，提高了检测的准确率。我们先来看看他和其他几篇代表性文章之间的不同。在OverFeat[1]中提出了将分类和定位问题一起解决的思想，但这两个任务在训练阶段是分开进行的，并且需要复杂的后续处理来得到检测结果，而在本文中多任务的学习是end-to-e

2015-09-30 16:34:17 13340 1

dp_BUPT的博客

原创 paper read weekly（six）

原创 paper read weekly(five)

原创 Paper read weekly(Four)

原创 paper read weekly(three)

原创 paper read weekly(two)

原创 Paper read weekly(one)

原创 17年 | 重开blog | 关于对称网络的的一点想（kun）法（huo）

原创 neural network and deep learning笔记（2）