Keras学习笔记

Keras学习笔记

Why Keras？
Keras 是一个兼容 Theano 和 Tensorflow 的神经网络高级包, 用他来组件一个神经网络更加快速, 几条语句就搞定了. 而且广泛的兼容性能使 Keras 在 Windows 和 MacOS 或者 Linux 上运行无阻碍.

BP过程：
- **用一个简单例子，说明BP更新参数的过程：
- https://blog.csdn.net/zhaomengszu/article/details/77834845

Dropout层：
https://www.cnblogs.com/welhzh/p/6648613.html
对于Dropout这样的操作为何可以防止训练过拟合，原作者也没有给出数学证明，只是有一些直观的理解或者说猜想。下面说几个我认为比较靠谱的解释：

• (1) 由于随机的让一些节点不工作了，因此可以避免某些特征只在固定组合下才生效，有意识地让网络去学习一些普遍的共性（而不是某些训练样本的一些特性）
• (2) Bagging方法通过对训练数据有放回的采样来训练多个模型。而Dropout的随机意味着每次训练时只训练了一部分，而且其中大部分参数还是共享的，因此和Bagging有点相似。因此，Dropout可以看做训练了多个模型，实际使用时采用了模型平均作为输出

softmax:
https://www.cnblogs.com/liuyu124/p/7332476.html

交叉熵：
用于衡量模型预测和真实标记之间的差异，交叉熵越小，差异越小，预测就越准确。
https://www.zhihu.com/question/65288314/answer/244557337
https://blog.csdn.net/tsyccnh/article/details/79163834

---

[1]: