机器学习
xboysen
这个作者很懒,什么都没留下…
展开
-
3-线性回归
线性回归 内容来源:B站 up:shuhuai008 主要内容 最小二乘(矩阵表达,几何意义) 概率角度:最小二乘法等价于噪声为高斯分布的最大似然估计 正则化:L1L_{1}L1——Lasso;L2L_{2}L2——Ridge岭回归 最小二乘(矩阵表达,几何意义) 最小二乘估计结果:参数W=(X⊤X)−1X⊤YW=(X^{\top}X)^{-1}X^{\top}YW=(X⊤X)−1X⊤Y. 几何意义: f(X)=W⊤Xf(X)=W^{\top}Xf(X)=W⊤X——将每个误差平均分散在每个样本上原创 2020-08-04 16:24:21 · 256 阅读 · 0 评论 -
2-频率学派 vs 贝叶斯
频率学派 vs 贝叶斯 内容来源: B站up:shuhuai008 给定数据X和参数θ\thetaθ: 频率学派认为参数θ\thetaθ为未知的,x为随机变量,使用最大似然估计(MLE)获得估计值。 贝叶斯学派认为参数θ\thetaθ也是随机变量,服从先验分布p(θ)p(\theta)p(θ)。 MAP使后验概率最大的点为估计:θMAP=argmaxθP(θ∣X)=argmaxθP(X∣θ)⋅P(θ)\theta_{M A P}=\arg \max _{\theta} P(\theta原创 2020-08-04 15:12:33 · 156 阅读 · 0 评论 -
1-数学基础
高斯分布相关 内容来源:B站 up:shuhuai008——机器学习白板推导 参数μ,σ2\mu, \sigma^{2}μ,σ2最大似然估计,估计量的特性(均值和方差等) Δ=(x−u)TΣ−1(x−u)=(x−μ)⊤∑i=1pui1λiuiT(x−μ)=∑i=1p(x−μ)⊤ui1λi⋅ui⊤(x−μ)=∑i=1pyi2λi\begin{array}{l} \Delta=(x-u)^{T}\Sigma^{-1}(x-u)\\ =(x-\mu)^{\top} \sum_{i=1}^{p} u_{i} \原创 2020-08-04 15:02:37 · 139 阅读 · 0 评论