最大似然估计与线性代数

最大似然估计

前提：样本数据本身是服从某种概率分布的；
问题：只有样本数据，而不知道这个数据服从的分布相关参数；
作用：估计分布的一种算法；
思路：当分布的参数为某一个最佳值时，所有样本数据出的联合概率是最大的，当所有样本数据出现的联合概率最大时，对应分布参数应该是最优解；即，联合密度函数就是似然函数。

线性回归

寻找样本数据，与标签数据的一种映射关系。
尽可能的使预测值与y值的误差达到最小，误差是独立同分布的；服从均值为0，方差为x^2的高斯分布；
线性回归中，参数越大，越可能产生过拟合情况。
正则项：L1，L2正则；（LASSO回归，岭回归）
逻辑回归（sigmoid函数），softmax回归是逻辑回归的一般化。