深度学习
文章平均质量分 95
ppp8300885
这个作者很懒,什么都没留下…
展开
-
[CS231n-assignment2] Python从零实现的CNN在CIFAR-10上的实验报告
根据CS231n assignments从零实现CNN在CIFAR-10上运行的实验报告,总结了深度学习落地过程中的7个诀窍trick,通过不断摸索和分析ResNet,在CIFAR中从最简单的CNN的58%的精度提升至77%原创 2017-06-05 19:13:45 · 6790 阅读 · 0 评论 -
RNN聊天机器人与Beam Search [Tensorflow Seq2Seq]
本博客分析了一个Tensorflow实现的开源聊天机器人项目deepQA,首先从数据集上和一些重要代码上进行了说明和阐述,最后针对于测试的情况,在deepQA项目上实现了Beam Search的方法,让模型输出的句子更加准确,修改后的源码在这里。DeepQADeepQA是一个Tensorflow实现的开源的seq2seq模型的聊天机器人( 传送们),出自谷歌的一篇关于对话模型的论文A Ne...原创 2017-07-10 17:28:55 · 11062 阅读 · 5 评论 -
详解神经网络中矩阵实现的梯度计算
对神经网络有一定了解的同学知道:一般的神经网络的具体实现都是通过矩阵实现的,包括误差反向传导,梯度计算和更新等等,比如y=w*x+b,这里的所有变量都是矩阵,我们通常会叫w和b为参数矩阵,矩阵相乘首先效率比较高,然后也比较好操作,那么对于矩阵形式的导数该怎么计算?比如w矩阵的具体导数dw应该如何计算?首先我们来看一个只有输入和输出层的网络,我们输入X矩阵大小为 N*D, N为batch的大小,也就是原创 2017-11-09 20:28:14 · 29871 阅读 · 28 评论 -
Alphago杂谈
Alphago版本经历了Fan,Lee,Maser,以及后面的AlphaGo和AlphaZero,前三版Fan,Lee,Master用的是监督学习+强化学习训练,后两面Alphago Zero和AlphaZero则是直接使用强化学习训练。DeepMind在这个topic上只公布了两篇Natrue,一个对应前三版,一个对应后两版,对所有这几版Alphago的演变也我们只能从论文中获得,所以大部分...原创 2018-04-17 12:52:52 · 1841 阅读 · 0 评论 -
机器学习和数据挖掘算法面试知识点
机器学习算法决策树(DT)ID3: 基于信息增益的大小来逐层确定分类的特征。我们知道信息量的增加能消除对事件的不确定性,因此我们每次选择信息增益大的特征作为分类特征, 表示引入此特征后,信息量增加最多,能把对事件的不确定性降为最低,墒最低。信息增益g(D,A)(互信息)由熵H(D)与条件熵H(D|A)之差算出, 条件墒H(D|A)表示在引入A特征后,D的不确定度,也就是墒的大小,我...原创 2018-04-05 10:17:19 · 1499 阅读 · 0 评论 -
变分自动编码机(VAE)理解和实现(Tensorflow)
你需要知道的:自动编码机Auto-Encoder (AE)由两部分encoder和decoder组成,encoder输入x数据,输出潜在变量z,decoder输入z然后输出一个x’,目的是让x’与x的分布尽量一致,当两者完全一样时,中间的潜在变量z可以看作是x的一种压缩状态,包含了x的全部feature特征,此时监督信号就是原数据x本身。变分自动编码机VAE是自动编码机的一种扩展,它假设输...原创 2018-05-04 10:21:58 · 16147 阅读 · 9 评论 -
(Neural Turning Machine)神经图灵机理解和pytorch实现
motivation原创 2018-05-25 21:25:26 · 8485 阅读 · 4 评论