2023.10.5学习

2023.10.5学习

人工智能基础学习

1. 欠拟合和过拟合

欠拟合：训练数据和预测数据都不准确；可以通过观察训练数据而发现，通过优化模型解决

过拟合：训练数据拟合准确，但很可能对预测数据造成误判

​ 原因：

• 模型结构过于复杂（维度过高）
• 使用了过多属性，模型训练时包含了干扰项信息

​ 解决办法：

• 简化模型结构（使用低阶模型）
• 数据预处理，保留主成分信息（PCA）
• 模型训练时，增加正则化项（regularization）

正则化处理后的损失函数( J )：（g(θ, x_i)是拟合模型方程）
$$J=\frac{1}{2m}\sum _{i=1}^m(g(\theta ,x_i)-y_i{)}^2+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
通过引入正则化项（含λ项），λ取值大的情况下，因为要使损失函数尽量小，故可以约束θ取值，从而控制模型系数取值。

2. 数据分离：对全数据进行数据分离，训练集部分用于训练，测试集部分用于新数据的结果预测。

训练数据集准确率 随着模型复杂而提高

测试数据集准确率，在模型过于简单或过于复杂的情况时下降（欠拟合-合理-过拟合-欠拟合）

3. 混淆矩阵

​ 在之前讲到的传统流程（数据载入 → 数据可视化与预处理 → 创建模型 → 模型训练 → 模型评估）中，计算模型对于测试数据集的准确率来评估模型表现，但是这种方式的局限性在于，无法真实反映模型针对各个分类的预测准确度

准确率可以方便地用于衡量模型的整体预测效果，但（1）无法体现数据预测的实际分布情况；（2）无法体现模型错误预测的类型

↓

混淆矩阵（Confusion Matrix）：又称误差矩阵，用于衡量分类算法的准确程度

• 分类任务中，相比单一的预测准确率，混淆矩阵提供了更全面的模型评估信息（TP、TN、FP、FN）
• 通过混淆矩阵，可以计算出多样的模型表现衡量指标，从而更好地选择模型

模型优化：

扩大数据样本

剔除异常数据（异常检测）

数据降维（PCA）

对模型进行正则化处理，调整正则项λ的数值

选用多种模型比较效果

代码练习：

高阶数据生成

from sklearn.preprocessing import PolynomialFeatures

poly2 = PolynomialFeatures(degree=2)  # 维度为2
X_2_train = poly2.fit_transform(X_train)  # 二阶数据生成
print(X_2_train)  # 3列数据

高阶曲线绘制

fig3 = plt.figure()
X_2_range = np.linspace(20, 90, 300).reshape(-1, 1)
X_2_range = poly2.transform(X_2_range)
y_2_range_predict = lr2.predict(X_2_range)
plt.plot(X_range, y_2_range_predict)  # x为默认数据，因为画不出高阶

完整代码：

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
from sklearn.preprocessing import PolynomialFeatures

data_train = pd.read_csv('data_train.csv')
print(data_train.head())
X_train = data_train.loc[:, 'temperature']
y_train = data_train.loc[:, 'rate']
fig1 = plt.figure()
plt.scatter(X_train, y_train)
plt.title('raw data')
plt.show()

# 创建线性回归模型
lr1 = LinearRegression()
X_train = np.array(X_train).reshape(-1, 1)
lr1.fit(X_train, y_train)

test_data = pd.read_csv('data_test.csv')
print(test_data.head())
X_test = test_data.loc[:, 'temperature']
y_test = test_data.loc[:, 'rate']
X_test = np.array(X_test).reshape(-1, 1)

y_train_predict = lr1.predict(X_train)
y_test_predict = lr1.predict(X_test)
r2_train = r2_score(y_train, y_train_predict)
r2_test = r2_score(y_test, y_test_predict)
print('train_r2: ', r2_train, 'test_r2: ', r2_test)

# 可视化预测结果
X_range = np.linspace(20, 90, 300).reshape(-1, 1)
y_range_predict = lr1.predict(X_range)
fig2 = plt.figure()
plt.plot(X_range, y_range_predict)
plt.scatter(X_train, y_train)
plt.title('predicted_line data')
plt.show()

# 多项式拟合
poly2 = PolynomialFeatures(degree=2)  # 维度为2
X_2_train = poly2.fit_transform(X_train)  # 二阶数据生成
X_2_test = poly2.fit_transform(X_test)
print(X_2_train)  # 3列数据

lr2 = LinearRegression()
lr2.fit(X_2_train, y_train)
y_2_train_predict = lr2.predict(X_2_train)
y_2_test_predict = lr2.predict(X_2_test)
r2_train = r2_score(y_train, y_2_train_predict)
r2_test = r2_score(y_test, y_2_test_predict)
print('train_r2: ', r2_train, 'test_r2: ', r2_test)

# 二阶模型可视化
fig3 = plt.figure()
X_2_range = np.linspace(20, 90, 300).reshape(-1, 1)
X_2_range = poly2.transform(X_2_range)
y_2_range_predict = lr2.predict(X_2_range)
plt.plot(X_range, y_2_range_predict)  # x为默认数据，因为画不出高阶
plt.scatter(X_train, y_train)
plt.scatter(X_test, y_test)
plt.title('predicted_degree2 data')
plt.show()

# 5阶模型
poly5 = PolynomialFeatures(degree=5)
X_5_train = poly5.fit_transform(X_train)
X_5_test = poly5.fit_transform(X_test)
print(X_5_train)
lr5 = LinearRegression()
lr5.fit(X_5_train, y_train)
y_5_train_predict = lr5.predict(X_5_train)
y_5_test_predict = lr5.predict(X_5_test)
r2_train = r2_score(y_train, y_5_train_predict)
r2_test = r2_score(y_test, y_5_test_predict)
print('train_r2: ', r2_train, 'test_r2: ', r2_test)

# 5阶模型可视化
fig4 = plt.figure()
X_5_range = np.linspace(20, 90, 300).reshape(-1, 1)
X_5_range = poly5.fit_transform(X_5_range)
y_5_range_predict = lr5.predict(X_5_range)
plt.plot(X_range, y_5_range_predict)
plt.scatter(X_train, y_train)
plt.scatter(X_test, y_test)
plt.title("predicted_degree5 data")
plt.show()