翾昱

受《理解线性代数》启发，结合自身学习的经验，直观的总结我对线性代数的理解。强调直观是因为在这里不纠缠于数学的严谨性，所以如果追求数学严谨性和证明的还是去看教材比较好。统计的目标是对数表内各种数据进行挖掘从而找出隐含其中的关系，线性代数为统计提供了对数表的表达方式和对数表进行处理的工具。在初等数学中我们学过函数，用来表示的数据之间一种确定的关系，给定x一定能算出唯一的y。但现实中我们遇到的数据可就没有

Why和岭回归要解决的问题一样，同样是多重共线性导致的RR接近奇异使得β\beta的估算值β̂ \hat{\beta}过大。What定(Yi,xi)(Y_i, x_i)是第i个样本, xix_i是p维存在严重多重共线性(其实就是自变量有相关性，极端情况是线性代数里的线性相关)。和岭回归一样，首先做standardized（去中心干掉了截距，scale使得β\beta具有可比性；和correlatio

Why 目的predictors X之间存在严重的多重共线性（multicollinarity, 即自变量之间线性相关-correlation很高）时，会导致p (|predictors|)< n (|observations|) 使得least-square（最小二乘法）计算公式β̂ =(XTX)−1XTY\hat{\beta} = (X^TX)^{-1}X^TY中的R=(XTX)R = (X^T

WhyWhat和岭回归一脉传承，只是惩罚项有所变化。

矩阵why为了更紧凑的表示一堆数并把复杂的乘除运算转化为简单的加减运算。what由向量引伸过来。矩阵是一个由数构成的表，而行列式是按一定运算法则确定的一个数。 Am∗nA_{m * n}表示一个m行n列的矩阵，当m=nm = n时，A被称作n阶方阵。 常见矩阵有单位矩阵: 主对角线上全是1，其余元素都是0的n阶方阵，记为InI_n.对称矩阵: ∀i,jaij=aji\forall i, j

Why传统的回归过程如线性回归解决的是YY为连续实数的情况。Logistic 回归是解决离散的分类问题，换句话说，要求YY是0或者1。 名字来自于指数分布家族中的Logistic 分布。What我们处理的是0-1分类问题. 输入n个样本, 第ii个样本为Xi,YiX_i, Y_i. XiX_i是有限的离散空间, YiY_i是00或11. 当X=xiX= x_i, Yi=1Y_i = 1发生的概率为

在项目中遇到了和语音识别中类似的无法准确切割信号的问题，于是想到了使用隐马尔科夫模型解决。 先聊一下隐马尔科夫模型中的”隐”字来源。下面讲到的例子原作者是知乎的Yang Eninala，出处在这里写链接内容。我将依据我的理解并且根据项目中实际的过程重新讲一遍。 说我现在在vegas, 赌场上一共有三个色子，分别是四面的六面的和八面的，每次选一个色子掷出点数。我把三个色子当做系统，在t时刻选中的