wu2020的博客

模型的欠拟合与过拟合及其解决方法(一)、欠拟合与过拟合训练数据分成三部分**：训练集，验证集和测试集**．验证集和测试集均不参与模型训练迭代．欠拟合：当训练集和验证集/测试集的误差都较大时，此时模型是欠拟合的，可以认为此时模型还无法有效捕捉训练数据中存在的基本信息来进行决策，此时模型的偏差较大过拟合：当训练集误差很小，而验证集/测试集的误差较大时，此时模型是过拟合的，可以认为此时模型已经过度捕捉训练数据中存在的基本信息来，在对验证集和测试集进行决策时，稍微不同的数据就会导致模型的预测大不相同，也就是

(一) 、监督学习下的判别式和生成式模型监督学习的任务就是学习一个模型,应用这一模型,对给定特征的的输入样本，预测样本相应的输出。这个模型的一般形式为决策函数:Y=f(X)或者条件概率分布:P(Y|X)决策函数Y=f(X)：输入一个特征为X的样本，模型输出一个Y，这个Y与一个阈值比较，根据比较结果判定X属于哪个类别。例如二分类（Y1和Y2）问题，如果Y大于阈值，特征为X的样本就属于类Y1，如果Ｙ小于阈值就属于类Y2。通过决策函数的输出直接就能得到特征为X的样本对应的类别了。条件概率分布P(Y|

全概率公式、条件概率、贝叶斯公式条件概率定义事件Ａ和事件B，事件ＡＢ同时发生的概率表示为P(AB),事件B发生的条件下，事件Ａ发生的概率为　P(A|B) =　P(AB)/P(B)由此可以推出：P(AB) = P(A|B) *P(B) = P(B|A) *P(A)全概率公式设 Ａ1,A2,A3…An,…是样本空间Ω的n 个划分，Ａ1,A2,A3…An 两两互斥，B为任一事件，则P(B) =P(B A1) + P(B A2) +P(B A3) + …+ P(B An) = P(B|A1) *