深度学习
sam-X
这个作者很懒,什么都没留下…
展开
-
CNN初探(三)------Going Deeper with Convolutions
Hebbian principle(赫布理论)Cells that fire together, wire together描述突触可塑性的原理, 即突触前神经元向突触后神经元的持续重复的刺激可以导致突触传递效能的增加。简述信息GoogLeNet相较于2012年Krizhevsky提出的网络结构,减少到了1/12的参数,并且更加精确。对于大多数实验,模型被设计为在推断时间保持1.5billion原创 2016-11-08 17:39:27 · 1392 阅读 · 0 评论 -
关于知识管理和语义搜索的一些思考
原文地址:http://baojie.org/blog/2015/03/04/on-knowledge-management/这篇文章写得很有深度,值得深思知识管理的坑做知识管理最容易陷进去的坑就是满足1%用户的要求做知识管理最容易陷进去的另一个坑就是满足99%用户的要求知识库的构造中,当目标是满足全人类的需要,就没办法满足(几乎)任何人的需要。Wikidata, free...转载 2018-04-16 22:57:02 · 432 阅读 · 0 评论 -
自然语言处理——注意力机制
本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。原创 2018-04-07 17:24:21 · 1026 阅读 · 1 评论 -
参数服务器——分布式机器学习的新杀器
在大规模数据上跑机器学习任务是过去十多年内系统架构师面临的主要挑战之一,许多模型和抽象先后用于这一任务。从早期的MPI,到后来的Hadoop,乃至于目前使用较多的Spark,都曾被广泛应用于大规模机器学习处理任务。John Langford曾经在他的博客(机器学习领域最好的博客之一)上总结和对比了主流的分布式机器学习框架的抽象[1]: MPI Gradient Agg转载 2017-12-05 10:36:50 · 10342 阅读 · 0 评论 -
Optimization Algorithm
Optimization AlgorithmSource : deeplearning.aiMini-Batch Gradient Descentmini-batch sizeSmall data set( size < 2000 ) : use batch gradient descentTypical mini-batch size : 64, 128, 256, … ( 2n2^n bet原创 2017-09-08 14:21:36 · 1181 阅读 · 0 评论 -
Batch Norm
Batch Normsource from: Deep Learning Specialization效果normalize inputs to speed up learningmean/variance computed on just that mini-batch similar to dropout, it adds some noise to each hidden layer’s原创 2017-09-20 19:56:41 · 558 阅读 · 0 评论 -
CNN初探(五)------Rich feature hierarchies for accurate object detection and semantic segmentation
Object proposal transformationsNon-maximum Suppression原创 2017-07-20 11:46:37 · 342 阅读 · 0 评论 -
NLP笔记(二)
来源:Cousera哥大自然语言处理课程标注问题标记例子Local VS ContextualLocal:根据经验进行标记Contextual:根据上下文语法结构进行标记KEY:Balance Local & Contextual三元隐马尔科夫模型 (Trigram HMMs)例子参数估计q(yi|yi−1,yi−2)q(y_i|y_{i-1},y_{i-2})e(xi|yi)e(x_i|y_原创 2017-05-02 15:47:24 · 312 阅读 · 0 评论 -
NLP笔记(一)
来源:First-Order Markov ProcessP(X1=x1,X2=x2,...,Xn=xn)=P(X1=x1)∑i=2nP(Xi|X1,X2,...,Xi−1)=P(X1=x1)∑i=2nP(Xi|Xi−1)\begin{equation}\begin{split}&P(X_1=x_1,X_2=x_2,...,X_n=x_n)\\&=P(X_1=x_1)\sum_{i=2}^{n原创 2017-04-25 17:26:26 · 503 阅读 · 0 评论 -
CNN初探(一)------补充
Convolution Arithmetic为了简化情况,假设输入(input)、特征块(kernel)、补零(padding)以及步长(strides)在不同轴上的长度均相等,分别为i、k、p、s。No zero padding, unit strideso=i−k+1,其中s=1,p=0o=i-k+1,\\其中s=1, p=0Zero padding, unit strideso=i−k+翻译 2017-02-09 11:31:26 · 2216 阅读 · 0 评论 -
DBN---RBM简介
上图即是RBM(受限玻尔兹曼机)的网络结构图,与玻尔兹曼机的区别就在于没有层内连接,其中vv为可见层,hh为隐藏层,可见层用于输入数据和获取结果,隐藏层则表示状态的变化原创 2016-12-30 14:16:30 · 1490 阅读 · 0 评论 -
CNN初探(四)------Deep Residual Learning for Image Recognition
Residual mapping原创 2016-11-24 10:46:46 · 751 阅读 · 0 评论 -
CNN初探(一)------AlexNet
从Alex Krizhevsky的ImageNet Classification with Deep Convolutional Neural Networks的这篇文章开始走进CNN的世界。原创 2016-09-16 21:12:11 · 1959 阅读 · 0 评论 -
On the Number of Linear Regions of Deep Neural Networks
文献来源:Montufar G F, Pascanu R, Cho K, et al. On the number of linear regions of deep neural networks[C]//Advances in neural information processing systems. 2014: 2924-2932.https://papers.nips.cc/pape...原创 2018-05-07 17:14:55 · 1102 阅读 · 0 评论