2021-08-23

第3章

对于连续变量
概率密度函数p(x,参数）
对于离散变量
概率质量函数p(x,参数）
说白了这个函数，可以想象成一个纵坐标为x对应出现概率p，横坐标为x的函数图。
极大似然估计的大致思路就是L=p（x1，参数）*p（x2，参数）*p（x3，参数）。。。。一直乘下去就可以得到所有样本都同时出现的概率。保证概率L最大的参数就是极大似然估计方法所确定的最好的分布函数。
从极大似然估计的角度推导一元线性回归

这里的最后一步可能会有些不理解，因为这里建模和我们之前一般的建模不一样，我们一般建立x-y为随机变量，这里设置epsilon为随机误差变量，所以随机变量在这个时候是epsilon和y，我们都知道x为样本观测值，所以这里的x不是随机变量。随机变量之间的p的转换关系p（随机变量+常数）=p（随机变量）
一阶可导：y对于x的各个分量一阶偏导数都存在（x是多维向量）
这些偏导数组合起来的向量为一阶导数/梯度（列向量）
半正定矩阵是 正定矩阵 的推广。
线性模型简单总结：

1. 确定假设空间 y=wx+b
2. 确定评价标准 距离的和最小
3. 求解损失函数，求导