张雨石-CSDN博客

原创理解dropout

开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。

2015-10-10 12:49:55 378246 61

本文是Google 2013年在KDD上发表论文的笔记，这是一篇将已有的学术研究成果进行大规模实践检测其是否有效的论文，是一篇实用性大于研究性的论文，相信偏向机器学习应用的同学能从这篇论文中受益匪浅，特将此论文进行总结，记录笔记，以供后面使用的时候查询。这篇论文的博客写了很久才写完，一方面由于之前实习加找工作实在太忙，另一方面，这篇论文中中的干货太多，所以下方高能。今天终于写完了，这也是我一贯奉行的原则，即便走的

2015-09-04 12:11:43 6942 6

原创 DeepFace--Facebook的人脸识别

连续看了DeepID和FaceNet后，看了更早期的一篇论文，即FB的DeepFace。这篇论文早于DeepID和FaceNet，但其所使用的方法在后面的论文中都有体现，可谓是早期的奠基之作。因而特写博文以记之。

2015-07-06 16:49:36 42616 9

原创 FaceNet--Google的人脸识别

引入随着深度学习的出现，CV领域突破很多，甚至掀起了一股CV界的创业浪潮，当次风口浪尖之时，Google岂能缺席。贡献出FaceNet再刷LFW上人脸验证的效果新高FaceNet与其他的深度学习方法在人脸上的应用不同，并没有用传统的softmax的方式去进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类。

2015-06-29 21:39:22 83297 15

原创 Adam：大规模分布式机器学习框架

Adam是微软研究院的深度学习项目，该项目仍然是应用卷积神经网络进行图像分类，效果提高了很多，但从我读论文的角度看，adam更偏向于分布式框架的实现，而非理论的创新，自Alex和Hinton在2012年发出[2]以后，其实卷积神经网络的核心并没有大改，然而将卷积神经网络从学术界引领到工业界，我觉得adam的贡献匪浅。

2015-06-29 01:04:39 16484 1

原创 DeepID算法实践

目前人脸验证算法可以说是DeepID最强，本文使用theano对DeepID进行实现。当然DeepID最强指的是DeepID和联合贝叶斯两个算法，本文中只实现了DeepID神经网络，并用它作为特征提取器来应用在其他任务上。本文所用到的代码工程在github上可以找到，链接为https://github.com/stdcoutzyx/DeepID_FaceClassify

2015-05-08 00:43:14 27257 57

原创局部敏感哈希之KSH

原始的哈希方法和基于p-stable分布的哈希方法都是随机产生的，其效果受随机函数的限制并会产生动荡。本文中描述一种有监督学习的哈希方法，根据不同的数据学习到不同的哈希方法，相对于随机产生的方法具有较大的优势。本文介绍的方法的原始论文在[1]，名为KSH，即Kernel-Based Supervised Hashing。

2015-03-30 10:06:39 6426 1

原创文明之剑-我读王晋康科幻小说

之所以给本文起了这个名字，是因为可以发现，老王的书中有很多都是对科技的发展持悲观态度，认为科技的发展使得人类种族的衰弱，或者会引发社会和伦理上的大动荡。现在科技的发展速度，使得人类的进化越发显得缓慢。但目前仍是万物之灵的人类，是否就是那样的脆弱不堪，是否会像恐龙那样完全消失，还是未知之数。

2015-03-21 13:59:52 5321

翻译机器学习算法概览

机器学习（Machine Learning， ML）是什么，作为一个MLer，经常难以向大家解释何为ML。但是，如果还有人问机器学习是什么，我想可以用本文来回答。

2015-03-21 00:10:55 8257 2

原创局部敏感哈希-Locality Sensitive Hashing

局部敏感哈希在检索技术中，索引一直需要研究的核心技术。当下，索引技术主要分为三类：基于树的索引技术（tree-based index）、基于哈希的索引技术（hashing-based index）与基于词的倒排索引（visual words based inverted index）[1]。本文主要对哈希索引技术进行介绍。

2015-03-19 13:46:45 14854 5

原创以梦为马，一路向前——我的2014

很多人不知道梦想是什么，我也不清楚。但我的的确确有一个朦胧的目标，我知道梦想实现后的样子，我了解实现梦想的手段有很多。我知道经过了2014，我离梦想的实现又近了一步。—— 题记一2014，就这样过去了，有快也有慢，有精彩也有平淡，有开心也有苦涩，有雄心勃勃也有颓颓废废。一切，都让我觉得我真的已经长大了，变得更加成熟了。这其中的关节，说起来有点搞笑，就是不停的发现以前的自己有多幼稚可笑或者称之为“逗比”。脑海中挥之不去的，总是前年的逗比之处，去年的逗比之处，甚至于上个月上周的逗比之处，这其中的意味，就是我在

2015-01-01 15:08:08 7112 16

原创 DeepID人脸识别算法之三代

DeepID人脸识别算法之三代DeepID，目前最强人脸识别算法，已经三代。如今，深度学习方兴未艾，大数据风起云涌，各个领域都在处于使用深度学习进行强突破的阶段，人脸识别也不例外，香港中文大学的团队使用卷积神经网络学习特征，将之用于人脸识别的子领域人脸验证方面，取得了不错的效果。虽然是今年7月份才出的成果，但连发三箭，皆中靶心，使用的卷积神经网络已经改进了三次，破竹之势节节高。故而在这里将DeepID神经网络的三代进化史总结一下，以期相互讨论，互有增益。

2014-12-23 00:09:48 97279 43

原创北美公司面试经验笔记

北美公司面试经验笔记昨天去参加了一场非常有收获的讲座，《师兄带你找offer》。这个讲座由计算机学院研究生会，九章算法赞助，在此给他们打个小广告，良心活动32个赞。活动邀请了4位学长过来给大家分享找北美公司offer的经历及需要准备的事项。四位师兄去了ms，google，facebook的总部。

2014-12-20 12:26:36 9435 3

原创卷积神经网络

自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们

2014-11-29 16:20:41 313241 76

原创 DeepID2——强大的人脸分类算法

本文是论文Deep Learning Face Representation by Joint Identification-Verification的阅读笔记。这篇论文使用deep learning学习特征，使用联合贝叶斯模型作为分类器，选取七组特征分别训练分类器，得到的结果使用SVM进行组合，得到的最终模型在LFW（Labeled Face in the Wild）数据集上的人脸验证任务中，达到了99.15%的准确率，目前排名第一。

2014-11-26 00:16:09 32879 10

原创 Going Deeper with convolutions

Going Deeper with convolutions本篇论文是针对ImageNet2014的比赛，论文中的方法是比赛的第一名，包括task1分类任务和task2检测任务。本文主要关注针对计算机视觉的高效深度神经网络结构，通过改进神经网络的结构达到不增加计算资源需求的前提下提高网络的深度，从而达到提高效果的目的。

2014-11-04 00:22:54 29273 5

原创 Very Deep Convolutional Networks for Large-Scale Image Recognition

这篇论文是今年9月份的论文[1]，比较新，其中的观点感觉对卷积神经网络的参数调整大有指导作用，特总结之。关于卷积神经网络(Convolutional Neural Network, CNN)，笔者后会作文阐述之，读者若心急则或可用谷歌百度一下。

2014-10-02 14:45:39 24408 2

原创 Ubuntu14.04配置cuda-convnet

Ubuntu14.04配置cuda-convnet在上一个链接中，我配置了cuda，有强大的GPU，自然不能暴殄天物，让资源白白空闲着，所以配置一下卷积神经网络跑一下程序喽。至于卷积神经网络的原理，容后再写。打算先写库的用法，再写原理，以行动带动对理论的追求。

2014-10-01 22:47:34 6603 2

原创 ubuntu14.04 配置cuda

在ubuntu14.04上配置cuda，从而可以使用GPU进行编程。

2014-09-29 22:59:39 5310 1

原创斯坦福ML公开课笔记15—隐含语义索引、奇异值分解、独立成分分析

斯坦福ML公开课笔记15我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现——SVD(Singular Value Decomposition,奇异值分解)，在SVD和LSI结束之后，关于PCA的内容就告一段落。视频的后半段开始讲无监督学习的一种——ICA(Indepen

2014-07-22 11:03:04 9264 8

原创斯坦福ML公开课笔记14——主成分分析

本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，但是该方法比较直接，只需计算特征向量就可以进行降维了。本篇对应的视频是公开课的第14个视频，该视频的前半部分为因子分析模型的EM求解，已写入笔记13，本篇只是后半部分的笔记，所以内容较少。

2014-07-08 17:36:27 9195 1

原创斯坦福ML公开课笔记13B-因子分析模型及其EM求解

本文是《斯坦福ML公开课笔记13A》的续篇。主要讲述针对混合高斯模型的问题所采取的简单解决方法，即对假设进行限制的简单方法，最后引出因子分析模型（Factor Analysis Model），包括因子分析模型的介绍、EM求解等。

2014-07-08 10:25:55 9607 6

原创图像物体检测识别中的LBP特征

1996年，Ojala老大爷搞出了LBP特征，也即参考文献1。当时好像并未引发什么波澜。到了2002年的时候，老大爷又对LBP的特性进行了总结，产生了参考文献2，这篇文献目前为止引用数目4600+，足见其分量之重了。到了2004年的时候，Ahonen将LBP特征首次用于人脸检测，即参考文献3。由于该特征的简单易算性，虽然其总体效果不如Haar特征，但速度则快于Haar，所以也得到了广泛的使用。2007年的时候，中科院的一帮大神将Haar特征计算的积分图方法引入进来，产生了多尺度的LBP特征，也即参考文献

2014-07-06 12:15:44 23112 1

原创基于Haar特征的Adaboost级联人脸检测分类器

基于Haar特征的Adaboost级联人脸检测分类器，简称haar分类器。通过这个算法的名字，我们可以看到这个算法其实包含了几个关键点：Haar特征、Adaboost、级联。理解了这三个词对该算法基本就掌握了。

2014-06-26 14:21:25 26407 4

原创斯坦福ML公开课笔记13A——混合高斯模型、混合贝叶斯模型

本文对应公开课的第13个视频，这个视频仍然和EM算法非常相关，第12个视频讲解了EM算法的基础，本视频则是在讲EM算法的应用。本视频的主要内容包括混合高斯模型（Mixture of Gaussian, MoG）的EM推导、混合贝叶斯模型（Mixture of Naive Bayes，MoNB）的EM推导、因子分析模型（Factor Analysis Model）及其EM求解。由于本章内容较多，故而分为AB两篇，本篇介绍至混合模型的问题。

2014-05-28 19:35:10 10087 2

翻译 ML简史

在科学技术刚刚萌芽的时候，科学家Blaise Pascal和Von Leibniz就想到了有朝一日能够实现人工智能。即让机器拥有像人一样的智能。机器学习是AI中一条重要的发展线，在工业界和学术界都异常火爆。企业、大学都在投入大量的资源来做机器学习方面的研究。最近，机器学习在很多任务上都有了重大的进步，达到或者超越了人类的水平（例如，交通标志的识别[1]，ML达到了98.98%，已超越了人类）。

2014-05-21 21:28:30 4258 2

原创人类行为真的可预测么？

随着大数据时代的到来，我们越来越多的使用电子产品，使我们的活动信息被越来越多的收集起来。我们知道，机器学习的一大目标就是利用历史数据去预测未来，那么，我们的行为会不会被预测呢？

2014-05-21 18:21:56 5818 3

原创向自由的人生前行

最近，由于自己有了MBA，觉得为了成为一个熟练的用户，应该看点介绍mac使用的东西，一搜之下就看了《Mac Talk：人生元编程》，这本书不仅仅讲了很多使用mac的技巧以及苹果的历史，而且还有很多我觉得很有道理的看法。在《Mac Talk》的某一节中，推荐了前几年很火的网络小说《悟空传》，本着对西游的热爱，把这本书也捎带看了。

2014-05-08 09:17:42 4160 4

原创模糊推理

本文是论文《企业搜索引擎个性化表示与结果排序算法研究》的笔记，之所以文章标题为模糊推理，是因为这个概念对我来说比较新，且是这篇论文的关键算法。个人感觉这个算法虽然在该论文中实现的比较简单，但可以扩展到很多地方，故记之。

2014-03-18 23:46:38 12966

原创社会化推荐算法

社会化推荐本文是论文《一种结合推荐对象间关联关系的社会化推荐算法》的笔记（下）。该论文提出的算法是以PMF为框架基础的。因而若对PMF不太了解的话，可以参考我的上一篇文章脑补一下，当然，那篇文章只是概述，详细了解PMF还需要阅读初始论文，但读完那篇文章后，对本文的理解应该没有问题。

2014-03-17 23:46:15 12683

原创概率矩阵分解模型 PMF

本文是论文《一种结合推荐对象间关联关系的社会化推荐算法》的笔记（上）。因为对其中的概率矩阵分解(Probabilistic Matrix Factorization, PMF)不够了解，因而我先去脑补了PMF在推荐系统中的应用，然后再对论文进行总结。主要内容包括svd的两种形式和PMF的介绍。

2014-03-16 23:59:37 27546 4

原创给时间以生命而非给生命以时间

开学以来，陆续读了刘慈欣的《三体》（三部）、球状闪电、流浪地球三部著作，其他他的著作也正打算读。读完这三部后，我就深深的为宇宙中可能的变迁所折服，对地球在宇宙中的沧海一粟所感慨，更为每个人的沧海一粟中的沧海一粟所震撼。然而，给我印象最深的一句话却是“给时间以生命，而非给生命以时间”。

2014-03-15 23:36:54 5528 2

原创微博背后的那些算法

微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作：原创、转发、回复、阅读、关注、@等。其中，前四个是针对短博文，最后的关注和@则针对的是用户之间的关系，关注某个人就意味着你成为他的粉丝，而他成为你的好友；@某个人意味着你想要他看到你的微博信息。微博被人们认为是“自媒体”，即普通大众分享与本身相关的“新闻”的途径。最近，有些人使用自己在自媒体上的影响力而盈利的报道屡见不鲜。那微博上个人影响力是怎样计算的呢？微博上还有哪些算法作为看不见的手在管理着我们？我们的每一个行为怎样影响着算法

2014-01-27 15:20:09 24981 11

原创斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法

公开课系列的pdf文档已经上传到csdn资源，下载请猛击这里。本文对应斯坦福ML公开课的第12个视频，第12个视频与前面相关性并不大，开启了一个新的话题——无监督学习。主要内容包括无监督学习中的K均值聚类(K-means)算法，混合高斯分布模型(Mixture of Gaussians, MoG)，求解MoG模型的EM算法，以及EM的一般化形式，在EM的一般化形式之前，还有一个小知识点，即Jensen不等式(Jensen’s inequality)。

2014-01-21 19:36:17 15775 3

原创斯坦福ML公开课笔记11——贝叶斯正则化、在线学习、ML应用建议

本文对应ML公开课的第11个视频。前半部分仍然是讲学习理论的内容，后半部分主要讲述一些在具体应用中使用ML算法的经验。学习理论的内容包括贝叶斯统计和正则化(Bayesian statistics and Regularization)、在线学习(Online Learning)。ML经验包括算法的诊断(Diagnostics for debugging learning algorithms)、误差分析(error analysis)、销蚀分析(ablative analysis)、过早优化(prematu

2014-01-19 11:14:48 14434 6

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

论文笔记_一种结合推荐对象间关联关系的社会化推荐算法

机器学习公开课笔记1-12

斯坦福机器学习公开课6-8

斯坦福机器学习公开课笔记1-5

gdb使用资料

隐马尔科夫模型及其扩展

基于熵的回退语言模型剪枝

a note on the EM——论文翻译

中文语言模型的词典优化

codeigniter教程

空空如也