建模与评估
一级目录
二级目录
三级目录
模型建立
1. 清洗数据
由于最初获得的数据通常是不‘干净’的,不能直接用于模型的训练。需要对数据增删查补和可视化来进行数据清洗,从而得到对最终结果有影响的完整特征数据集。这些就是前两次任务涉及的内容。
2. 选择模型
对于我现在熟悉的几个模型来说:
线性回归:特征少,数据集也不大的连续性预测类问题
逻辑回归/SVM:特征少,数量集也不大的分类问题
神经网络: 特征多,数量集中等偏上的分类问题
3. 分割数据集
#random_state: 设置随机种子以便于后续结果复现
# test_size :测试集比例
# stratify 分层抽样 样本的代表性比较好,抽样误差比较小
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3,stratify=y, random_state=2020)
4. 模型创建
# 读入模型库
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
#逻辑回归模型
# C: 正则化参数λ的倒数; 效果和SVM中的参数C一样 C越小正则化效果越强 越针对过拟合
clf_lg1 = LogisticRegression(C = 10)
clf_lg1 = clf_lg.fit(X_train, y_train)
# 修改参数的随机森林分类模型
# n_estimators:The number of trees in the forest
# min_samples_leaf: The minimum number of samples required to be at a leaf node.
# max_depth: The maximum