深度学习笔记

记录一些看过的比较好的深度学习文章。

深度 | 从修正Adam到理解泛化：概览2017年深度学习优化算法的最新研究进展 机器之心翻译的Sebastian Ruder的blog

概览深度学习中的五大正则化方法和七大优化策略 知乎专栏，也是机器之心

要点：正则化避免参数数量多于样本数量的模型过拟合，有助于泛化。而增加样本数量也可以防止过拟合。防止过拟合还可使用数据增强、L1 正则化、L2 正则化、Dropout、DropConnect 和早停（Early stopping）法等。

深度学习中常见的优化方法（from SGD to AMSGRAD）和正则化技巧 方宇SLAM学习之旅

要点：参数初始化：将参数初始化为高斯分布或者均匀分布，Xavier初始化。BN的位置一般是在卷积之后，激活函数之前，本质上BN有效的原因是因为规范化了输入，这样可以把各个层的尺度都统一起来，解决了梯度的问题。

神经网络与深度学习 复旦大学邱锡鹏的书，写得很好

要点：重点关注了一下RNN的LSTM原理和BPTT推导，还有几种attention机制。

A Comprehensive Guide to Understand and Implement Text Classification in Python 一些文本分类算法的代码，实现方法有Naive Bayes，Linear Classification，SVM，Bagging，Boosting，Shallow NN和LSTM，GRU等DNN。