回归问题

机器学习中的回归问题

机器学习的三要素是：模型，策略，算法

模型就是所要学习的条件概率分布或者决策函数
策略就是指要按照什么样的准则来学习
算法是指学习模型的具体计算方法

这次主要介绍的是回归模型

from sklearn import datasets     
import pandas as pd

boston = datasets.load_boston()     # 波士顿房价数据集，13个特征，1个结果(房价)
X = boston.data 
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)  # 转化为DataFrame格式
boston_data["Price"] = y   # 添加price这一列
boston_data.head()    # 查看结构

各个特征的相关解释：
CRIM：各城镇的人均犯罪率
ZN：规划地段超过25,000平方英尺的住宅用地比例
INDUS：城镇非零售商业用地比例
CHAS：是否在查尔斯河边(=1是)
NOX：一氧化氮浓度(/千万分之一)
RM：每个住宅的平均房间数
AGE：1940年以前建造的自住房屋的比例
DIS：到波士顿五个就业中心的加权距离
RAD：放射状公路的可达性指数
TAX：全部价值的房产税率(每1万美元)
PTRATIO：按城镇分配的学生与教师比例
B：1000(Bk - 0.63)^2其中Bk是每个城镇的黑人比例
LSTAT：较低地位人口
Price：房价

主要包括线性回归，多项式回归，决策树回归
根据输入[[$x_1,y_1$],[$x_2,y_2$],…,[$x_n,y_n$]]和输出：[[${\hat{y}}_1$],[{ ${\hat{y}}_2$],…[${\hat{y}}_n$]]来训练模型，一般采用的策略为损失函数或风险函数最小化。当损失函数小于事先设定好的阈值之后模型就训练成功了，有了训练好之后的模型之后就可以进行预测了。
常用的损失函数有：
(1)0-1损失函数(0-1 loss function)
$$L(Y,f(X))=\{\begin{array}{}\end{array}$$