MyProgramingLife的专栏

在学习NBC时，涉及te

一、似然估计我们要做的是对一些数据进行参数拟合， 然后进行预测的过程。 在这个过程谁都想要得到最好的参数，并且能够抗干扰性强一些，因此这里就要考虑各种求参数的方法了。 对于线性回归，其一般形式为                一般都会有截距项w0, 因此在进行估计的时候，我们都会对数据x , 在首列添加1. 进而估计参数w0. 拟合毕竟是估计， 总要存在残差的，

一、 解法理解：比如向前回归，就是先选择和响应最相关的变量，进行最小二乘回归。 然后在这个模型的基础上，再选择和此时残差相关度最高的（也就是相关度次高）的变量，加入模型重新最小二乘回归。之后再如法继续，直到在某些度量模型的最优性准则之下达到最优，从而选取一个最优的变量子集进行回归分析，得到的模型是相比原模型更加简便，更易于解释的。这种方法，牺牲了模型准确性（预测有偏），但是提高了模型的精确度（

一、L1正则化在L0 正则化中，通常我们有很多特征时， 这样在计算后验形式p(r|D) 有很大的复杂度。即使利用贪心算法，很容易陷入局部拟合情况。其中一部分原因是因为 rj 特征是离散形式的， 这样造成目标函数的不光滑， 。 在优化领域中，通常的做法是对于离散的约束，我们通过松弛的方法来将其变为连续的约束。 我们可以在spike-and-slab 尖峰与平波模型中，通过在wj =0，

一 . L0 正则化在我们进行后验表示的时候，我们对 rj = 1, 表示第j 个特征与此后验是相关的， 其中后验表达为 图片1其中f(r) 为花费函数， f(r) = -[logp(D|r)+ logp(r)]例如假如有N = 20 ， D  = 10，进行线性回归模型， 其中数据和噪声为正太分布的， 图片2， 我们一般会要 K 稀疏，表示稀疏的程度。 则在K = 5， 有5个w

（一） 基础了解产生式分类器对于算法模型， 我们学习其模型形式为： ， 在给定x 时学习其条件分布y， 即算法尝试去直接学习由输入X到标签{0, 1}的映射关系，这是discriminative  learning algorithms举个栗子：logistic regression (回头讲，重新再看)若我们学习模型为： （和 ），即如果y 表明0 是

一、 数学上的逻辑回归前面提到，逻辑回归是判别分析方法来分类的，即 通过给定的数据x, 来直接得到其后验概率。且 它 得到的是线性分类边界。回顾在贝叶斯准则中， 利用0-1损失进行分类时， 我们做法是 以最大的后验概率 的类 k， 来作为依据。             从而 第k 类 和 第 l 类的分类边界通过 使其概率相等来决定：  即 样本 x 在 第k 类和第l 类有相

（一）正则化的引入（Regularized LDA）在利用线性判别分析进行分类时，在进行协方差估计是得到    ，这个协方差的估计是一个有偏估计（biased estimates）。因为其协方差是 正定的， 因此可以进行特征值分解 图片2， 其逆相应为：  我们利用协方差矩阵的逆，来进行分类判别，得到其判别得分函数为可以看到，判别得分对于很小的特征值

朴素贝叶斯二值模型， 从一步步的推导 ，到实现程序， 以及后续的一些问题的考虑， 如 logsumexp 和 互信息 的特征选择。 在后续有对MAP 进行了理解， 以及后续的学习总结。

Linear mixed-effects models