GodWriter的博客

Linear Model Selection and Regularization在回归方法中，标准的线性模型如下：Y=β0+β1x1+...+βpxp+ϵY = \beta_0 + \beta_1x_1 + ... + \beta_px_p + \epsilonY=β0​+β1​x1​+...+βp​xp​+ϵ用来描述Response Y和一系列变量x1,x2,...,xpx_1, x_2, ... ,x_px1​,x2​,...,xp​之间的关系。在前文中，我们使用最小二乘来拟合模型，的确线性模型

1. Cross-Validation on Classification ProblemsCross-Validation用于分类任务概念在系列前文中，描述的都是Cross−ValidationCross-ValidationCross−Validation在回归任务中的应用，并使用MSEMSEMSE量化Test Error，但Cross−ValidationCross-Validati...

1. Resampling Methods重采样方法是现代统计学习中不可缺失的一环。它们包括：重复的从训练集中采样重复的拟合模型以获得额外的信息重采样方法会耗费计算机资源，因为需要从训练集中采集不同的子集来多次拟合同一个模型。下面，我们将要讨论两个较为常用的重采样方法：Cross−ValidationCross-ValidationCross−Validation（交叉验证）Bo...

1. LDA for p > 1假设X=(x1,x2,...,xp)X=(x_1, x_2, ..., x_p)X=(x1​,x2​,...,xp​)来自多元高斯分布，关于K类有着不同的均值，但协方差矩阵相同。多元高斯分布的一些直观概念假设每个predictorpredictorpredictor符合一维高斯分布，每对predictorpredictorpredictor中存在相...

Logistic Regression三种常用的分类方法Logistic RegressionLinear Discriminant AnalysisK-NN Negihbor为什么不用Linear Regression建模分类模型？若使用Linear Regression来建模P(x)=β0+β1xP(x) = \beta_0 + \beta_1xP(x)=β0​+...

1. RSS, RSE, TSS等RSS（Residual Sum of Squares）RSS=e12+e22+e32+...+en2=(y1^−β0^−β1^x1)+...+(yn^−β0^−β1^xn)=∑i=1n(yi−yi^)2RSS = e_1^2 + e_2^2 + e_3^2 + ... + e_n^2 \\ =(\hat{y_1} - \hat{\beta_0} - \...