5、神经网络
-
优点:分类的准确度高;并行分布处理能力强,分布存储及学习能力强,对噪声神经有较强的鲁棒性和容错能力,能充分逼近复杂的非线性关系;具备联想记忆的功能。
-
缺点:神经网络需要大量的参数,如网络拓扑结构、权值和阈值的初始值;
不能观察之间的学习过程,输出结果难以解释,会影响到结果的可信度和可接受程度;
学习时间过长,甚至可能达不到学习的目的。 -
与机器学习的不同:机器学习的过程,就是通过训练输入输出数据而寻找到目标函数的过程。深度学习是机器学习的一种。在传统机器学习中,手动设计特征对学习效果是很重要的,但特征工程非常繁琐。二深度学习能够从大数据中自动学习特征,这是深度学习能够在大数据时代广受欢迎的一原因。
-
优化类的参数:学习率(learning rates)、 batch_size、训练代数(epochs)
模型类的参数:隐含层数(hidden layers)、模型结构的参数(如RNN)。 -
调参
- 参数初始化,一般使用服从的高斯分布(mean=0, stddev=1)或均匀分布的随机值作为权重的初始化参数;使用 0 作为偏置的初始化参数。随机正交矩阵(Orthogonal)
截断高斯分布(Truncated normal distribution) - 学习率(LR),一般从0.01开始往下调节,即梯度下降的步长
- 动量ÿ
- 参数初始化,一般使用服从的高斯分布(mean=0, stddev=1)或均匀分布的随机值作为权重的初始化参数;使用 0 作为偏置的初始化参数。随机正交矩阵(Orthogonal)