2017年10月_浅梦s

11月 10月 09月 08月 05月 03月 02月 01月

本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略，标准初始化，Xavier初始化，He初始化。

2017-10-13 22:09:43 16742 1

本文首先介绍了向量空间的概念，然后从最近重构性和最大可分性推导了PCA公式，最后给出了伪代码和算法评价。Kernel PCA

2017-10-12 14:42:04 779 1

本文首先简要说明了几种在线稀疏学习算法，如L1OGD,TG,FOBOS,RDA。然后主要介绍FTRL算法，包括参数更新策略，公式推导，和逐维度的学习率调度机制。最后给出了LR模型上带l1l2正则化的FTRL算法的伪代码。

2017-10-09 15:52:53 3772

本文介绍了特征选择的三类方法，过滤式，包裹式，嵌入式。

2017-10-09 14:41:56 6743

本文介绍了RNN，双向RNN，seq2seq架构，LSTM,GRU等，以及长期依赖的解决方案，截断梯度等。

2017-10-05 14:21:23 10638 1

本文介绍了卷积网络的三个重要思想，稀疏连接，参数共享，等变表示。介绍了卷积和池化，以及输出维度和参数量的计算。

2017-10-04 15:45:58 3192 1

本文介绍了深度学习中优化的若干问题，包括小批量梯度下降，SGD和动量方法，自适应学习率算法，二阶近似算法，批标准化和坐标下降等

2017-10-03 15:27:00 10724 2

深度学习正则化方法，包括参数范数惩罚,Dropout,数据增强,early stopping等。

2017-10-01 23:39:09 2759 1

本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.

2017-10-01 22:38:07 3061 1

本文介绍了无约束最优化的两种常用方法，梯度法和牛顿法，拟牛顿法和BFGS，Broyden类算法

2017-10-01 21:17:25 1022

TA创建的收藏夹 TA关注的收藏夹

TA关注的人