机器学习笔记(3)线性模型之线性回归

前言

---

       先来说个天龙八部的故事，话说乔峰在聚贤山庄大战江湖群雄，当时各路豪杰纷纷使出砍价本领，什么九阴真经啊，葵花点穴手啊，降龙十七掌啊，凌波微步啊，但是统统被乔峰一拳打倒，竟无一人是其对手，那么乔峰用的是啥功夫呢？？
       其实只是“长拳”，一种最基础的武功，习武之人必会的东西，但是乔峰掌握的很扎实，可见基础有多么重要了。

据说：“ 回归可以做任何事情 ”。

什么是回归

---

假如有如下回归方程，回归系数为$w_{i}$,那么求回归系数$w_{i}$的过程就被成为回归：

$$y=w_{0}x_{0}+w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}$$

定量输出称为回归，或者说是连续变量预测；
定性输出称为分类，或者说是离散变量预测。

多元线性回归试图学得

$$f(x_{i})=w^{T}x_{i}+b\quad使得\quad f(x_{i})\simeq y_{i}$$
       这里用到了最小二乘法，最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离和最小，也可表示为距离的平方和最小。
       根据导数性质，导数为0的点在该点处取极值，可取极小值。
$$E_{(w,b)}=\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^{2}$$
令 $w^{'}= (w,b)$ 则令
$$E_{w_{'}}=(y-Xw_{'})^{T}(y-Xw_{'})$$
求导可得
$$\frac{\partial E_{w_{'}}}{\partial w_{'}}=2X^{T}(Xw_{'}-y)$$
若 $X^{T}X$满秩令上式为0可得
$$w_{'}^{*}=(X^{T}X)^{-1}X^{T}y$$

线性回归的例子

---

可用一个例子来试验下，花萼的数据：http://files.cnblogs.com/files/sumai/iris.rar

花瓣大小的分布

代码如下：

# -*- coding: utf-8 -*-
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from numpy.linalg import inv
from numpy import dot

# 拟合线性模型： 萼片长度(Sepal.Length) ~ Sepal.Width + Petal.Length + Petal.Width
iris = pd.read_csv('iris.csv')

# 正规方程法
# 选取第一列到第四列
temp = iris.iloc[:, 1:5]
# 这个是就是b
temp['x0'] = 1
# X是一组属性 
X = temp.iloc[:,[1,2,3,4]]
# Y是需要拟合的目标
Y = iris.iloc[:, 1]
Y = Y.values.reshape(len(iris), 1)
# theta(w) = (X'X)^(-1)X'Y
theta_n = dot(dot(inv(dot(X.T, X)), X.T), Y)
# 计算出w^
print theta_n

##[[ 0.65083716]
## [ 0.70913196]
## [-0.55648266]
## [ 1.85599749]]
a = raw_input("请输入Sepal.Width  Petal.Length  Petal.Width: ")
x1, x2, x3 = map(float, a.split('\t'))
test = theta_n[0] * x1 + theta_n[1] * x2 + theta_n[2] * x3 + theta_n[3]

print test

就这么多了，最后推荐一本书《Python Machine Learning Blueprints》