GodWriter的博客

Linear Model Selection and Regularization 在回归方法中，标准的线性模型如下： Y=β0+β1x1+...+βpxp+ϵY = \beta_0 + \beta_1x_1 + ... + \beta_px_p + \epsilonY=β0​+β1​x1​+...+βp​xp​+ϵ 用来描述Response Y和一系列变量x1,x2,...,xpx_1, x_2, ... ,x_px1​,x2​,...,xp​之间的关系。在前文中，我们使用最小二乘来拟合模型，的确线性模型

1. Cross-Validation on Classification Problems Cross-Validation用于分类任务概念 在系列前文中，描述的都是Cross−ValidationCross-ValidationCross−Validation在回归任务中的应用，并使用MSEMSEMSE量化Test Error，但Cross−ValidationCross-Validati...

1. Resampling Methods 重采样方法是现代统计学习中不可缺失的一环。它们包括： 重复的从训练集中采样 重复的拟合模型以获得额外的信息 重采样方法会耗费计算机资源，因为需要从训练集中采集不同的子集来多次拟合同一个模型。下面，我们将要讨论两个较为常用的重采样方法： Cross−ValidationCross-ValidationCross−Validation（交叉验证） Bo...

1. LDA for p > 1 假设X=(x1,x2,...,xp)X=(x_1, x_2, ..., x_p)X=(x1​,x2​,...,xp​)来自多元高斯分布，关于K类有着不同的均值，但协方差矩阵相同。 多元高斯分布的一些直观概念 假设每个predictorpredictorpredictor符合一维高斯分布，每对predictorpredictorpredictor中存在相...

Logistic Regression 三种常用的分类方法 Logistic Regression Linear Discriminant Analysis K-NN Negihbor 为什么不用Linear Regression建模分类模型？ 若使用Linear Regression来建模 P(x)=β0+β1xP(x) = \beta_0 + \beta_1xP(x)=β0​+...

1. RSS, RSE, TSS等 RSS（Residual Sum of Squares） RSS=e12+e22+e32+...+en2=(y1^−β0^−β1^x1)+...+(yn^−β0^−β1^xn)=∑i=1n(yi−yi^)2RSS = e_1^2 + e_2^2 + e_3^2 + ... + e_n^2 \\ =(\hat{y_1} - \hat{\beta_0} - \...