人工智能机器学习入门——线性回归

一、机器学习概述

什么是机器学习？(Machine Learning)

机器学习是一种实现人工智能的方法。

从数据中寻找规律、建立关系，根据建立的关系去解决问题。

机器学习是机器从数据中自动分析获得模型，并利用模型对未知数据进行预测。

二、机器学习类别

• 监督式学习
• 无监督式学习
• 半监督式学习
• 强化学习
• 生成式 AI
  

监督学习

• 线性回归
• 逻辑回归
• 决策树
• 神经网络、卷积神经网络、循环神经网络

无监督学习

• 聚类算法

三、线性回归

什么是回归分析？(Regression Analysis)

回归分析

回归分析：根据数据确定两种或两种以上变量间相互依赖的定量关系

函数表达式：
y =f(x1,x2… xn)

线性回归

线性回归：回归分析中，变量与因变量存在线性关系

Scikit-learn

Python语言中专门针对机器学习应用而发展起来的一款开源框架(算法库），可以实现数据预处理、分类、回归、降维、模型选择等常用的机器学习算法

Scikit-learn特点：

• 集成了机器学习中各类成熟的算法，容易安装和使用，样例丰富，教程和文档也非常详细
• 不支持Python之外的语言，不支持深度学习和强化学习

Scikit-learn官网：https://scikit-learn.org/stable/index.html
Scikit-learn中文社区：https://scikit-learn.org.cn/

pip install scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple/

四、单因子线性回归实战

data_single.csv的内容如下：

#Python调用Sklearn实现线性回归

#数据加载
import pandas as pd
data = pd.read_csv("data_single.csv")
print(type(data),data.shape)
data.head()

#数据赋值
x = data.loc[:,'x']
y = data.loc[:,'y']
print(x,y)

#展示图形
from matplotlib import pyplot as plt
plt.figure(figsize=(3,3))
plt.scatter(x,y)
# plt.show()

#设置线性回归模型
from sklearn.linear_model import LinearRegression
lr_model = LinearRegression()

#转换维度
import numpy as np
x = np.array(x)
x = x.reshape(-1,1)
print(type(x),x.shape)
y = np.array(y)
y = y.reshape(-1,1)
print(type(y),y.shape)

#训练模型
lr_model.fit(x,y)

#预测x对应的y
y_predict = lr_model.predict(x)
print(y_predict)
print(data)

#使用模型预测x=3.5时y的值
y_3 = lr_model.predict([[3.5]])
print(y_3)

#打印a，b  （y = ax + b）
a = lr_model.coef_
b = lr_model.intercept_
print(a,b)

#评估模型的表现
from sklearn.metrics import mean_squared_error,r2_score
MSE = mean_squared_error(y,y_predict)
R2 = r2_score(y,y_predict)
print(MSE,R2)

• MSE越小越好，R2分数越接近1越好
• y vs y_predict集中度越高越好（越接近直线分布）

#画图展示 y vs y_predict集中度
plt.figure()
plt.plot(y,y_predict)
plt.show()

四、多因子线性回归实战

预测房价问题，数据集：usa_housing_price.csv

#加载数据
import pandas as pd
import numpy as np
data = pd.read_csv('usa_housing_price.csv')
data.head()

#画图展示（展示在一幅图中，2行3列图）
from matplotlib import pyplot as plt
fig = plt.figure(figsize=(8,8))
fig1 = plt.subplot(231)
plt.scatter(data.loc[:,'Avg. Area Income'],data.loc[:,'Price'])
plt.title('Price VS Income')

fig2 = plt.subplot(232)
plt.scatter(data.loc[:,'Avg. Area House Age'],data.loc[:,'Price'])
plt.title('Price VS Age')

fig3 = plt.subplot(233)
plt.scatter(data.loc[:,'Avg. Area Number of Rooms'],data.loc[:,'Price'])
plt.title('Price VS Rooms')

fig4 = plt.subplot(234)
plt.scatter(data.loc[:,'Area Population'],data.loc[:,'Price'])
plt.title('Price VS Area')

fig5 = plt.subplot(235)
plt.scatter(data.loc[:,'size'],data.loc[:,'Price'])
plt.title('Price VS Size')
plt.show()

#定义 x 和 y
x = data.loc[:,'size']
y = data.loc[:,'Price']
x.head()

y.head()

#创建线性回归模型
from sklearn.linear_model import LinearRegression
LR1 = LinearRegression()

#数组进行维度转换
x = np.array(x).reshape(-1,1)
print(x.shape)

#训练模型
LR1.fit(x,y)

#计算单因子对应的价格
y_predict_1 = LR1.predict(x)
print(y_predict_1)

#评估预测模型
from sklearn.metrics import mean_squared_error,r2_score
mean_squared_error_1 = mean_squared_error(y,y_predict_1)
r2_score_1 = r2_score(y,y_predict_1)
print(mean_squared_error_1,r2_score_1)

#可视化预测结果
fig6 = plt.figure(figsize=(5,3))
plt.scatter(x,y)
plt.plot(x,y_predict_1,'r')
plt.show()

#多因子
x_multi = data.drop(['Price'],axis=1)
x_multi

#创建多因子回归模型
LR_multi = LinearRegression()

#训练模型
LR_multi.fit(x_multi,y)

#模型的预测
y_predict_multi = LR_multi.predict(x_multi)
print(y_predict_multi)

#评估预测模型
mean_squared_error_multi = mean_squared_error(y,y_predict_multi)
r2_score_multi = r2_score(y,y_predict_multi)
print(mean_squared_error_1,r2_score_1)
print(mean_squared_error_multi,r2_score_multi)

#多因子y,y_predict_multi对比
fig7 = plt.figure(figsize=(5,3))
plt.scatter(y,y_predict_multi)
plt.show()

#单因子y,y_predict_1对比
fig8 = plt.figure(figsize=(5,3))
plt.scatter(y,y_predict_1)
plt.show()

#测试多因子模型效果
X_test = [65000,5,5,30000,200]
# X_test = np.array(X_test).reshape(1,-1)

X_test = pd.DataFrame(np.array(X_test).reshape(1,-1),columns=['Avg. Area Income',
                                                            'Avg. Area House Age',
                                                             'Avg. Area Number of Rooms',
                                                             'Area Population',
                                                              'size',])
print(X_test)

#预测房价
y_test_predict = LR_multi.predict(X_test)
print(y_test_predict)