朴素贝叶斯
假设不同的特征是相互独立的
属于监督学习的生成模型,实现简单,没有迭代,并有坚实的数学理论(即贝叶斯定理)作为支撑。
贝叶斯方法是以贝叶斯原理为基础,使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础,贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率,即避免了只使用先验概率的主观偏见,也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率,同时算法本身也比较简单。
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法①。对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布;然后基于此模型,对给定的输入 x,利用贝叶斯定理求出后验概率最大的输出y。
激活函数
Relu
Sigmoid
1/(1+e^(-z))
Tanh
双曲正切
LeakyRelu
Batch Normalization
批量归⼀化利⽤小批量上的均值和标准差,不断调整神经⽹络中间输出,从而使整个神经⽹络在各层的中间输出的数值更稳定。
全连接中
将批量归⼀化层置于全连接层中的仿射变换和激活函数之间。设全连接层的输⼊为u,权重参数和偏差参数分别为W和b,激活函数为ϕ。设批量归⼀化的运算符为BN。那么,使⽤批量归⼀化的全连接层的输出为ϕ(BN(x))
卷积中
批量归⼀化发⽣在卷积计算之后、应⽤激活函数之前。如果卷积计算输出多个通道,我们需要对这些通道的输出分别做批量归⼀化,且每个通道都拥有独⽴的拉伸和偏移参数,并均为标量。
K-means
输入:样本集D,簇的数目k,最大迭代次数N;
输出:簇划分(k个簇,使平方误差最小);
算法步骤:
(1)为每个聚类选择一个初始聚类中心;
(2)将样本集按照最小距离原则分配到最邻近聚类;
(3)使用每个聚类的样本均值更新聚类中心;
(4)重复步骤(2)、(3),直到聚类中心不再发生变化;
(5)输出最终的聚类中心和k个簇划分。
迭代方法
梯度下降
批量梯度下降:每次更新使用所有数据进行计算。
随机梯度下降:仅使用一个样本计算梯度。
Adagrad
计算更新步长时,增加了分母:梯度平方累积和的平方根。
经典评价指标
Recall, precision
Recall = TPR, Recall表示实际为正的样本被判断为正样本的比例;
precision = TP/(TP+FP) 表示预测为正的样本中,实际的正样本的数量。
F1-score
F1 = 2 * P * R / (P+R)