机器学习
文章平均质量分 93
wx_blue_pig
数据挖掘和机器学习爱好者
展开
-
为什么用样本方差估计总体方差的统计量除以n-1
为什么用样本方差估计总体方差的统计量除以n-1 结论 1n∑i=1n(Xi−Xˉ)2\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2n1∑i=1n(Xi−Xˉ)2 是有偏估计 1n−1∑i=1n(Xi−Xˉ)2\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2n−11∑i=1n(Xi−Xˉ)2 是无偏估计 期望已知,方差未知 随机变量XXX的均值已知为μ{\mu}μ,总体方差σ2{\sigma^2}σ2未知。根据方差的定义,可知:原创 2020-10-24 22:11:26 · 1735 阅读 · 0 评论 -
一元线性回归的公式推导
此乃开博首篇,先用简单的问题来当做开胃菜! 本篇一元回归主要参考周志华老师《机器学习》,主要工作是把周老师在书中省略的公式推导过程详细叙述清楚。 对于样本集 DDD = { (x1x1x_1,y1y1y_1), (x2x2x_2,y2y2y_2), …, (xmxmx_m,ymymy_m) } 线性回归模型就是要找到一个模型f(x)=wx+bf(x)=wx+bf(x)=wx+b 使得 ∀i∈[...原创 2018-04-01 18:36:13 · 12789 阅读 · 0 评论 -
标量、向量、矩阵求导
0、符号说明 本文会用到的几个量: 标量:cc\rm c 向量:nnn维列向量 xx\boldsymbol x,mmm维行向量 yTyT\boldsymbol y^T x=⎛⎝⎜⎜⎜⎜x1x2⋮xn⎞⎠⎟⎟⎟⎟x=(x1x2⋮xn) \boldsymbol x= \left(\begin{matrix} x_1\\ x_2\\ \vdots\\ x_n \end{matrix}\r...原创 2018-04-02 22:12:50 · 8069 阅读 · 2 评论 -
多元线性回归中的公式推导
这次接着一元线性回归继续介绍多元线性回归,同样还是参靠周志华老师的《机器学习》,把其中我一开始学习时花了较大精力弄通的推导环节详细叙述一下。 本文用到的部分关于向量求导的知识可以参看博文标量、向量、矩阵求导 数据集D={(x1,y1),(x2,y2)⋯(xm,ym)}D={(x1,y1),(x2,y2)⋯(xm,ym)}D=\{(\boldsymbol x_1, y_1), (\boldsym...原创 2018-04-03 11:34:38 · 12164 阅读 · 3 评论 -
广义线性模型和逻辑回归的公式推导
广义线性模型 回顾之前我们介绍的一元和多元线性回归,其最终目标都是寻找一个权值向量 ww\boldsymbol w 和常数偏置 bbb, 使每个样本数据 (x,y)(x,y)(\boldsymbol x, y) 中的 xx\boldsymbol x 代入二者所确立的模型 y^=wTx+b(1)(1)y^=wTx+b \hat y=\boldsymbol w^T\boldsymbol x+b...原创 2018-04-03 21:27:38 · 1644 阅读 · 1 评论 -
SVM原理探究及其详细公式推导
1、最优线性分类器 对于下图的二分类任务,我们想要得到一个分类平面将其分开: 显然图中的1、2、3、4、5号平面均能达成这个目的,这五个平面我们可以用下式来表示 wTx+b=0(1)(1)wTx+b=0 \boldsymbol w^T\boldsymbol x+b=0\tag 1 对于任意的样本点 (xi,yi)(xi,yi)(x_i, y_i) 均满足 {wTxi+b<...原创 2018-04-19 16:24:20 · 1062 阅读 · 0 评论