1.过拟合与欠拟合
欠拟合与过拟合:
训练数据 | 预测数据 | |
欠拟合 | 不准确 | 不准确 |
过拟合 | 准确 | 不准确 |
好模型 | 准确 | 准确 |
欠拟合可以通过观察训练数据及时发现,通过优化模型结果解决。
如何解决过拟合问题:
- 原因:模型结构过于复杂(维度过高);使用了过多属性,模型训练时包含了干扰项信息。
- 解决办法:简化数据模型(使用低阶模型,如线性模型);数据PCA处理;模型训练时,增加正则化项
2.数据分离与混淆矩阵
建立模型的意义:不在于对训练数据做出预测,更在于对新数据的准确预测。
模型训练与评估流程:数据载入----->数据可视化与预处理---->模型创建---->全数据用于模型训练---->模型评估
没有新数据用于评估模型怎么办?:对全数据进行分离,部分用于训练,部分用于新数据的结果预测。
- 把数据分成两部分:训练集,测试集
- 用训练集进行模型训练
- 用数据集进行数据预测,更有效地评估模型对于新数据的预测表现。
分类任务中,计算测试数据集预测准确率以评估模型表现。局限性:无法真实反映模型针对各个分类的预测准确度。
混淆矩阵:又称误差矩阵,用于衡量分类算法的准确程度。
预测结果 | |||
0 | 1 | ||
实际 结果 | 0 | True Negative(TN)
| False Positive(FN) |
1 | False Negative(FN) | True Positive(TP) |
- TP:预测准确,实际为正样本的数量(实际为1,预测为1)
- TN:预测准确,实际为负样本的数量(实际为0,预测为0)
- FP:预测错误,实际为负样本的数量(实际为0,预测为1)
- FN:预测错误,实际为正样本的数量(实际为1,预测为0)
模型评估指标:
3.模型优化
数据的重要性:数据质量决定模型表现的上限。
检查数据:
- 数据属性的意义,是否为无关数据
- 不同属性数据的数量级差异性如何
- 是否有异常数据
- 采集数据的方法是否合理,采集到的数据是否有代表性
- 对于标签结果,要确保标签判定规则的一致性
处理数据:
- 删除不必要的数据--->减少过拟合,节约运算时间
- 数据预处理:归一化,标准化--->平衡数据影响,加快训练收敛
- 确定是否保留或过滤掉异常数据--->提高鲁棒性
- 尝试不同的模型,对比模型表现--->帮助确定更合适的模型
模型优化的目标:在确定模型类别后,如何让模型表现更好(数据,模型参数,正则化)
尝试以下方法:
- 遍历核心参数组合,评估对应模型表现(比如:逻辑回归边界函数考虑多项式,KNN尝试不同的n_neighbors)
- 扩大数据样本
- 增加或减少数据属性
- 对数据进行降维处理
- 对模型进行正则化处理,调整正则项λ的数值
训练数据集准确率:随着模型复杂而提高
测试数据集准确率:在模型过于简单或过于复杂的情况时下降
4.实战准备
实战一:酶活性预测
- 基于T-R-train.csv数据,建立线性回归模型,计算其在T-R-train.csv数据上的r2分布,可视化模型预测结果
- 加入特征多项式(2次,5次),建立回归模型
- 计算多项式回归模型对预测数据进行预测的r2分数,判断哪个模型预测更准确
- 可视化多项式回归模型数据预测结果,判断哪个模型预测更准确
#生成新数据并用于预测
#(40,90,300):生成从40~90的300个数
#reshape(-1,1):生成300行1列的数据
X_range = np.linspace(40,90,300).reshape(-1,1)
y_range_predict = lr1.predict(X_range)
#生成二次多项式数据
from sklearn.preprocessing import PolynomialFeatures
ploy2 = PolynomialFeatures(degree = 2)
X_2_train = ploy2.fit_transform(X_train)
X_2_test = ploy2.transfrom(X_test)
实战二:质量好坏预测
- 基于data_class_raw.csv数据,根据高斯分布概率密度函数,寻找异常点并剔除。
- 基于data_class_processed.csv数据,进行PCA处理,确定重要数据维度及成分。
- 完成数据分离,数据分离参数:random_state = 4, test_size = 0.4。
- 建立KNN模型完成分类,n_neighbors取10,计算分类准确率,可视化分类边界。
- 计算测试数据集对应的混淆矩阵,计算准确率,召回率,特异度,精确率,F1参数。
- 尝试不同的n_neighbors(1-20),计算其在训练数据集,测试数据集熵的准确率并作图。
#数据分离
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state = 4,test_size = 0.4)
#生成决策区域数据
xx,yy = np.meshgrid(np.arange(0,10,0.05),np.arange(0,10,0.05))
x_range = np.c_[xx.ravel(),yy.ravel()]
y_range_predict = knn.predict(x_range)
#可视化决策区域
bad_knn = plt.scatter(x_range[:,0][y_range_predict == 0],x_range[:,1][y_range_predict == 0])
good_knn = plt.scatter(x_range[:,0][y_range_predict == 1],x_range[:,1][y_range_predict == 1])
#计算混淆矩阵
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test,y_test_predict)
TP = cm[1,1]
TN = cm[0,0]
FP = cm[0,1]
FN = cm[1,0]
#计算召回率,特异度,精准率,F1分数
recall = TP/(TP+FN)
specificity = TN/(TN+FP)
precision = TP/(TP+FP)
f1 = 2 * precision * recall / (precision + recall)