机器学习/深度学习准备资料（待更新）

朴素贝叶斯

假设不同的特征是相互独立的

属于监督学习的生成模型，实现简单，没有迭代，并有坚实的数学理论（即贝叶斯定理）作为支撑。​

贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主观偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法①。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出y。

激活函数

Relu

Sigmoid

1/(1+e^(-z))

Tanh

双曲正切

LeakyRelu

Batch Normalization

批量归⼀化利⽤小批量上的均值和标准差，不断调整神经⽹络中间输出，从而使整个神经⽹络在各层的中间输出的数值更稳定。

全连接中

将批量归⼀化层置于全连接层中的仿射变换和激活函数之间。设全连接层的输⼊为u，权重参数和偏差参数分别为W和b，激活函数为ϕ。设批量归⼀化的运算符为BN。那么，使⽤批量归⼀化的全连接层的输出为ϕ(BN(x))

卷积中

批量归⼀化发⽣在卷积计算之后、应⽤激活函数之前。如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归⼀化，且每个通道都拥有独⽴的拉伸和偏移参数，并均为标量。

K-means

输入：样本集D，簇的数目k，最大迭代次数N；

输出：簇划分（k个簇，使平方误差最小）；

算法步骤：

（1）为每个聚类选择一个初始聚类中心；

（2）将样本集按照最小距离原则分配到最邻近聚类；

（3）使用每个聚类的样本均值更新聚类中心；

（4）重复步骤（2）、（3），直到聚类中心不再发生变化；

（5）输出最终的聚类中心和k个簇划分。

迭代方法

梯度下降

批量梯度下降：每次更新使用所有数据进行计算。

随机梯度下降：仅使用一个样本计算梯度。

 Adagrad

计算更新步长时，增加了分母：梯度平方累积和的平方根。

经典评价指标

Recall, precision

Recall = TPR, Recall表示实际为正的样本被判断为正样本的比例; 
precision = TP/(TP+FP) 表示预测为正的样本中，实际的正样本的数量。 
F1-score

F1 = 2 * P * R / (P+R)
 

Averaged balanced score

 参考：https://www.jianshu.com/p/2eb432f31a6b