深度学习
wffzxyl
这个作者很懒,什么都没留下…
展开
-
【李宏毅ML笔记】 10 Brief introduction of deep learning
注意:1 Muti-layer perceptron 类似于 DNN2 2006年,用RBM找的初始化参数的神经网络叫做DeepLearning,否则则是1980年代的Muti-layer perceptron。用到了很多较难的方法做initialization,带来的帮助并不大。3 一般大的DeepLearning,训练要几周,后来用GPU,可以加速注意:1 Step1中的a set funct...原创 2018-02-26 22:16:08 · 373 阅读 · 0 评论 -
【模型优化】Dropout && DropConnect
作者:tornadomeetDropout训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来...转载 2018-08-18 14:27:11 · 940 阅读 · 0 评论 -
【李宏毅ML笔记】0 Machine learning 简介
人工智慧:人类想要达成的目标。机器学习:达成目标的手段。或者先天的本能,即人类的设计,或者通过后天学习手段,即训练过程。深度学习:机器学习中的一种方法。河狸生物本能生下来听到声音就会筑水坝:聊天机器人的本能:基于预先设定的规则(hand-crafted rules),编制的程序,根据input的指令,得到相应的相应。hand-cr原创 2018-03-03 10:25:22 · 378 阅读 · 0 评论 -
【李宏毅ML笔记】18 Fizz Buzz in TensorFlow
硬train一代的代表故事fizz buzz,如给你100个数,如果能被3整除,输出fizz,如果能被5整除,输出buzz,如果能被两者整除,则输出fizz buzz。如下:900个样本,每个样本代表一个数字,并且有二进制数值表示。观察样本,第一个数字是101,则二进制表示为1010011000,下面观察label,如果不是被3,5或同时被整除,则保留原数。所以共有4种情况,“原数,fizz,bu...原创 2018-03-02 16:37:33 · 896 阅读 · 0 评论 -
【李宏毅ML笔记】17Keras Demo2
在testset上预测结果不好,那么要先看trainingset上结果好不好。或者说,在trainingset上只有overfitting了,在testset上才有优化的空间。在trainset上evaluation效果不好时0 可以观察每一个epoch的每一个bachsize1 更换activation function,比如从sigmoid改为relu。最后一个用softmax原创 2018-03-02 16:22:55 · 745 阅读 · 0 评论 -
【李宏毅ML笔记】16 Tips for Training DNN
DeepLearning 训练Network的流程,三个Step1. 定义Network Structure,得到function set,2 决定loss function 3 训练选优 4 得到Network1, 5检查Network1在training set上有没有得到好的结果。否则,在前三个step上得到好的结果。Network的overfitting问题比较少,其遇到的第一个问题原创 2018-03-01 15:01:29 · 1272 阅读 · 0 评论 -
【李宏毅ML笔记】14 Keras2.0 and 15 Keras Demo
深度学习实验:1 构建输入空间。如图像等转换为向量,多张图像向量构成一个矩阵。一般图像,将其每一个像素,作为一个维度,如28*28,拉成28*28维度的向量。2 确定输出。如输出二分类,多分类,则定义个对应个数的维度的输出向量。3 确定隐藏层。keras:声明:model = Sequential()添加神经元层:mode.add(Dense原创 2018-02-28 20:10:05 · 1178 阅读 · 0 评论 -
【李宏毅ML笔记】 12 Keras Hello word
可以自己修改keras背后的TensorFlow相关的配置,程序,来做更灵活的事情。keras(牛角)作者在谷歌工作,可能会作为谷歌神经网络api。如下, keras中先定义sequential的model,先决定set of function 然后搭积木,model中可以加一层layer,用add Dense()(这是fully connected layer),或者其它的形式。并输入相关的...原创 2018-02-28 18:10:55 · 472 阅读 · 0 评论 -
【李宏毅ML笔记】 11 BP反向传播
梯度提升在神经网络训练中的过程:实际,BackPropagation是一种比较有效率计算的Gradient Descent方法记住BackPropagation中的链式法则Chain Rule如下:以上,即多元复合函数的求导公式,如下:如下,在Neuron Network的training中,yn 与 yn^的距离,即(偏差)距离值定义为Cn。累加所有的Neuron的(偏差)距离值,得到整个Net...原创 2018-02-27 17:27:16 · 645 阅读 · 0 评论 -
【李宏毅ML笔记】19 CNN
CNN常被用于影像处理上,也可以用一般的Network来处理影像。输入为图像转换而来的pixcel,输出可能为1000个类别,每一个neuro可以看做是一个classifier,层层进一步的判断当前是否是某种线条,纹理,图像片段等等,来做识别。问题:当使用fully connected Network时,总会需要太多的参数。如100*100,彩色图像会有100*100*3个维度的图像,假设第一层h...原创 2018-03-06 21:30:16 · 1258 阅读 · 0 评论 -
【基础】卷积
作者:hudongloop网址:https://blog.csdn.net/u011276025/article/details/74979405卷积看了也使用了不少时间了,最近在知乎上如何理解深度学习中的deconvolution networks看到一个关于卷积的,感觉不错,因此有把那篇讲卷积的文章A guide to convolution arithmetic for deep l...转载 2018-08-18 12:16:24 · 2407 阅读 · 0 评论