一些ML与DL中常见的知识点总结

一些ML与DL中常见的知识点总结（持续更新）

熵的理解

信息熵，交叉熵，相对熵
https://www.zhihu.com/question/41252833/answer/195901726

损失函数的理解

交叉熵：https://zhuanlan.zhihu.com/p/56638625
https://juejin.im/post/5b38971be51d4558b10aad26
添加链接描述

梯度消失与梯度爆炸

https://blog.csdn.net/qq_25737169/article/details/78847691

参数初始化方式

损失函数

https://blog.csdn.net/zhangjunp3/article/details/80467350
https://www.cnblogs.com/pinard/p/6029432.html

batchnorm

主要利用平移参数与缩放参数进行归一化，需要注意的是训练时候会保留均值与方差，以便在测试的时候对数据进行相应归一化
https://blog.csdn.net/qq_25737169/article/details/79048516

其他正则化方式 GN？？

https://blog.csdn.net/qq_25737169/article/details/79713886

dropout：

注意train与test时候的rescale（因为在train的时候会随机消除结点，但是在test的时候没有消除结点，所以利用rescale来消除该影响）
https://blog.csdn.net/program_developer/article/details/80737724
http://cs231n.github.io/neural-networks-2/#reg

梯度下降总结：

adam是将Momentum与RMSprop结合在了一起
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702123
https://blog.csdn.net/u010089444/article/details/76725843
https://blog.csdn.net/u014595019/article/details/52989301
https://zhuanlan.zhihu.com/p/32230623

梯度下降算法中weight decay，momentum作用

1.weight decay是为了防止过拟合的
2.momentum是为了当梯度下降方向相同加速收敛的
参考：在神经网络中weight decay起到的做用是什么？momentum呢？normalization呢？