https://www.bilibili.com/video/av16543434/?from=search&seid=12028936768099284481
在B站看了一个讲解李宏毅教授的《一天搞懂深度学习》学习心得视频,如上。
一。
1.par*weight ->加上bias ->通过激活函数(activation function)->使得参数o(斯塔)最优化->在测试集中做出预测
2.learning target
loss 与target的偏差
total loss
3.如何学习
梯度下降法 不断修正o
首先随便找一点,根据曲线的斜率,逐渐向最低处(最优解)的地方走 ps:只能找到局部最优解
caffe之类的软件可以帮助算斜率之类 得到以上的过程
4.应用
图形辨识 垃圾信息过滤 分类文件
5.why DeepLearning?
计算的层数越多,错误率越低,但是不可能不断加大计算的层数 于是
modularization 先找最明显的特征 之后的每一层再以上一层为module去build classfier
each basic classifier can have sufficient training examples.
二。tips for training deep learning neural network
测试的结果并不如预想中的那么好 原因可能是overfit 过度训练 喂的东西喂得太多了
如何去训练
①选一个比较好的方式去处理total loss
Cross Entopy
②mini-batch
把测试的资料分组
③new activation function
ReLu 及时剔除较小的,接近于0的
MaxOut 在每一层选最大的
得到了thinner linear network 但是效果也更好的
④Adaptive Learning Rate
learning rate 通俗理解是按照斜率走,每次走多少
learning rate更好 <----- 随着时间变化 Adagrad
⑤momentum(动能)
借助之前的力 继续再往前 往高走 有找到更优解的可能
为什么会overfit 测试和训练不一样
如何处理
①early stopping 在test与training最接近的时候就停
②regularization 将很久没有用到过的萎缩掉
③dropout 每一层去掉一定数量的神经元
④更好的network structure
三。variants of neural network
1.CNN
①找特征点
②可以将图缩小
convolution 和max pooling 重复多次 最后flattern 算出结果
2.RNN
neural network needs memory
四。next wave
1.network structure
2.learning target
①reinforcement learning 强制学习
②unsupervised learning 没有label ->把相同的东西分了类