python 决策树回归_python机器学习实战3-4

3.1线性回归基本形式

基本形式

。形式简单，易于建模

。蕴含机器学习的基本思想

。是其他非线性模型的基础

。权重体现出各属性重要性，可解释性强

W是权值，b是系数

目标函数（单变量）

均方误差最小化（最小二乘法）

。找到一条直线

3.2线性回归模型的python实现

Sklearn.linear_model中的LinearRegression可实现线性回归

3.3波士顿房价预测的python实现

#波士顿房价数据回归分析
fromsklearn.datasetsimportload_boston
fromsklearn.linear_modelimportLinearRegression
importmatplotlib.pyplotasplt
 
bosten=load_boston()#实例化
x=bosten.data[:,5:6]
 
clf=LinearRegression()
clf.fit(x,bosten.target)#模型训练
clf.coef_#回归系数
y_pre=clf.predict(x)#模型输出值
 
plt.scatter(x,bosten.target)#样本实际分布
plt.plot(x,y_pre)#绘制拟合曲线
plt.show()

3.4逻辑回归介绍

分类和回归而这不存在不可逾越的鸿沟。

逻辑回归是对数几率回归，属于广义的线性回归，他的因变量只有0，1

3.5研究生入学录取预测的python实现

4.1从女生相亲到决策树

4.3决策树拆分属性选择

问题：对于给定的样本集，如何判断应该在哪一个上行上进行拆分

。目标是寻找较小的树，衡量一个节点的纯度，悬着纯度高的进行拆分

。纯度

。熵：不确定性度量

信息增益：对纯度提升的程度

4.4决策树算法家族

4.5泰坦尼克号生还者预测——数据预处理

4.6泰坦尼克哈生还者预测——模型建立与预测