统计学基础_task4

线性回归

假设坐标平面内有n点，$$(x_1,y_1)$$,$$(x_2,y_2)$$等，记为$$(x_n,y_n)$$ ，用一条直线进行这些点，希望最小化这些点到直线距离的平方。直线$$y=mx+b$$，求出$$m,b$$，使得点和直线y值的平方误差和最小

$$Erro{r}_1=y_1-(m{x}_1+b)$$

$$Erro{r}_2=y_2-(m{x}_2+b)$$

$$S_{Error}=(y_1-(m{x}_1+b){)}^2+(y_2-(m{x}_2+b){)}^2+\dots \dots +(y_n-(m{x}_n+b){)}^2$$

原式=$$y_1^2-2y_1(m{x}_1+b)+(m{x}_1+b{)}^2+\dots \dots +y_n^2-2y_n(m{x}_n+b)+(m{x}_n+b{)}^2$$

原式=$$y_1^2-2y_{1}m{x}_1-2y_{1}b+m^2{x}_1^2+2m{x}_{1}b+b^2+\dots \dots +y_n^2-2y_{n}m{x}_n-2y_{n}b+m^2{x}_n^2+2m{x}_{n}b+b^2$$ 原式=$$(y_1^2+y_2^2+\dots \dots +y_n^2)-2m(x_1{y}_1+\dots \dots +x_n{y}_n)-2b(y_1+\dots \dots +y_n)+m^2(x_1^2+\dots \dots +x_n^2)+2mb(x_1+\dots \dots x_n)+n{b}^2$$

计算累加项的均值，最小化原式，等价于最小化将累加项改写为均值后的式子

原式=$$n\overline{y^2}-2mn\overline{xy}-2nb\overline{y}+n{m}^2\overline{x^2}+2mnb\overline{x}+n{b}^2$$

最小化上式，求m、b分别对m和b求偏导（三维曲面上，最小值点在对m和b的斜率都等于0的位置上）
KaTeX parse error: Expected 'EOF', got '\and' at position 44: …{\partial m}=0 \̲a̲n̲d̲{\frac{\partial…
得到
$$m=\frac{(\overline{y}-\frac{\overline{xy}}{\overline{x}})(\overline{x})}{(\overline{x}-\frac{\overline{x^2}}{\overline{x}})(\overline{x})}=\frac{\overline{x}\overline{y}-\overline{xy}}{(\overline{x}{)}^2-\overline{x^2}}$$

$$b=\overline{y}-m\overline{x}$$

决定系数$$R^2$$

y的总波动有多少可以被x的波动描述($$R^2$$)？总波动中有多少没有被线性回归（x波动）所描述？

y的总波动（方差时y波动的均值）
$$S{E}_{\overline{y}}=\sum _{i=1}^n(y_i-\overline{y}{)}^2$$

$$\frac{S{E}_{line}}{S{E}_{\overline{y}}}$$

$$R^2=1-\frac{S{E}_{line}}{S{E}_{\overline{y}}}$$

如果决定系数接近1,说明直线拟合的很好，因为点到直线的平方误差很小

协方差和回归线

协方差：两随机变量离各自均值距离之积的期望值
$$Cov(X,Y)=E((X-E(X))(Y-E(Y))=E(XY)-E(X)E(Y)=\overline{XY}-\overline{X}\overline{Y}$$

卡方分布

$${\chi }^2$$ 分布检验理论分布同观测结果的吻合度（一些随机变量的平方之和）

自由度：相互独立的随机变量的个数（n-1）、（r-1）（c-1）

皮尔逊$${\chi }^2$$检验

列联表$${\chi }^2$$检验

方差分析

SST：总平方和

思考：总波动程度有多少是组内波动引起的？

SSW：组内平方和（每组总平方和之和）

SSB：组间波动（组内均值和总均值之差的平方和）

总波动=组内波动+组间波动

F统计量的假设检验

确认差异是来源于组内（数据随机）还是组间
$$F=\frac{\frac{SSB}{m-1}}{\frac{SSW}{m(n-1)}}$$
相关性和因果性

演绎推理（事实到事实）和归纳推理（有假设、推广）