机器学习之广义线性模型

深夜博客在今天开张啦
一年前接触了机器学习，纯属个人兴趣，还没想到要入坑，现在沉迷无法自拔了哈哈哈。好了也不说太多废话了，今天的主题是广义线性模型啦！这篇博客是参考斯坦福cs229 lecture1中的Generalize Linear Models（GLM）及加上自己的理解，博主是个new comer，欢迎大家一起交流学习哦
在解释广义线性模型之前，有必要回顾一下线性回归(Linear Regression)和逻辑回归(Logistic Regression)。

线性回归–Linear Regression
线性回归模型可应用与监督学习(supervised learning)预测问题，如房价预测，疾病预测…….
对线性回归的直观解释: 找到一个线性函数能尽可能拟合已给出的点，如图

理论解释：
假设

$$X=[x_1,x_2,x_3,.......,x_m]T$$ $x_i$代表影响结果的一个特征(feature), y ∈ R
当X与结果y属于线性关系时，即可得到线性回归假设(hypotheses)：
$$h_θ(X) = θ_1x_1+θ_2x_2+.......+θ_mx_m+b；$$
写成向量形式即为：
$$h_Θ(X) = Θ^TX + b$$

构造损失函数（损失函数就是用来表现预测与实际数据的差距程度）:
cost function（损失函数）:

$$J(Θ) = 1/2\sum_{i}^{samples} { [h_Θ(X) - y]};$$
目标即找到一组 $Θ = [θ_1,θ_2,....,θ_m]$ 最小化J(Θ)。所用到的方法是梯度下降（gradient descent）,在这里就不具体展开了，详细请看机器学习之梯度下降
在得到Θ向量后，将X_predict代入 $h_Θ(X) = Θ^TX$ 中即可得到y_predict
Tips: 为什么要用最小二乘法定义损失函数, 戳=> 线性模型概率解释

逻辑回归–Logistic Regression
逻辑回归模型应用于监督学习分类问题，暂且考虑二分类(如0,1分类)问题如
直观解释：得到一条函数将不同类别的分开，如图:

理论解释:
同样假设

$$X=[x_1,x_2,x_3,.......,x_m],\\ Θ = [θ_1, θ_2, θ_3,.......θ_m]$$
定义hypotheses(也就是预测预测结果 $\hat{y}$)

h