机器学习之sklearn基础教程（第八篇：实战项目案例）

机器学习之sklearn基础教程（第八篇：实战项目案例）

在本篇教程中，我们将通过一个实战项目案例，应用之前学到的sklearn知识来解决一个实际的机器学习问题。

1. 项目背景

这个项目案例是一个房价预测任务。我们将使用一个房屋数据集，根据房屋的各种特征来预测房价。例如，房屋的面积、卧室数量、浴室数量等。

2. 数据探索和准备

首先，我们需要加载数据集，并进行数据探索和准备的工作。这个过程包括：

• 导入所需的库和模块，如numpy、pandas和matplotlib等。

• 读取数据集，并对数据进行初步的观察，如查看前几行数据、统计描述等。

• 检查数据的缺失值和异常值，并进行相应的处理。

• 划分数据集为训练集和测试集。

3. 特征工程和预处理

接下来，我们需要对特征进行工程处理和预处理，以使其适用于机器学习模型。这个过程包括：

• 特征选择和降维：根据问题和数据，选择合适的特征进行建模，并对特征进行降维处理。

• 特征缩放和标准化：对特征进行缩放和标准化处理，以消除特征间的量纲差异。

• 类别特征编码：对类别型的特征进行编码，以便模型能够处理。

4. 模型选择和训练

在进行模型选择之前，我们需要确定评估指标和模型选择的标准。对于回归任务，常见的评估指标包括均方误差（Mean Squared Error, MSE）和决定系数（R-Squared）等。

使用已准备好的训练数据，我们可以尝试多个回归模型，并对其进行训练。

5. 模型优化和调参

在模型训练之后，我们可以通过优化和调参来提高模型的性能。使用交叉验证、网格搜索和随机搜索等方法，来寻找最佳的模型超参数组合。

6. 模型评估和验证

在模型优化后，我们需要使用测试集来验证模型的性能。根据之前确定的评估指标，对模型进行评估，并对模型的结果进行可视化和解释。

7. 完整代码

# 导入所需的库和模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 读取数据集
data = pd.read_csv("housing.csv")

# 查看数据集的前几行数据
print(data.head())

# 统计描述
print(data.describe())

# 检查缺失值和异常值，并进行处理
data = data.dropna()  # 去除缺失值
data = data[(data["price"] > 0) & (data["price"] < 1000000)]  # 去除异常值

# 划分数据集为训练集和测试集
from sklearn.model_selection import train_test_split

X = data.drop("price", axis=1)
y = data["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征工程和预处理
from sklearn.feature_selection import SelectKBest
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler, LabelEncoder

# 特征选择和降维
k = 10  # 选择前10个特征
selector = SelectKBest(k=k)
X_train_selected = selector.fit_transform(X_train, y_train)
X_test_selected = selector.transform(X_test)

# 特征缩放和标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train_selected)
X_test_scaled = scaler.transform(X_test_selected)

# 类别特征编码
encoder = LabelEncoder()
X_train_encoded = X_train_selected.copy()
X_test_encoded = X_test_selected.copy()
for feature in ["bedrooms", "bathrooms"]:
    X_train_encoded[feature] = encoder.fit_transform(X_train_selected[feature])
    X_test_encoded[feature] = encoder.transform(X_test_selected[feature])

# 模型选择和训练
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score

models = [
    LinearRegression(),
    DecisionTreeRegressor(),
    RandomForestRegressor()
]

for model in models:
    model.fit(X_train_scaled, y_train)
    y_pred = model.predict(X_test_scaled)
    mse = mean_squared_error(y_test, y_pred)
    r2 = r2_score(y_test, y_pred)
    print(f"Model: {model.__class__.__name__}")
    print(f"Mean Squared Error: {mse}")
    print(f"R-Squared: {r2}")

# 模型优化和调参
from sklearn.model_selection import GridSearchCV

param_grid = {"n_estimators": [10, 50, 100], "max_depth": [None, 5, 10]}
grid_search = GridSearchCV(RandomForestRegressor(), param_grid, cv=5)
grid_search.fit(X_train_scaled, y_train)
best_model = grid_search.best_estimator_

# 模型评估和验证
best_model.fit(X_train_scaled, y_train)
y_pred = best_model.predict(X_test_scaled)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"Best Model: {best_model.__class__.__name__}")
print(f"Mean Squared Error: {mse}")
print(f"R-Squared: {r2}")

# 结果和总结
feature_importances = best_model.feature_importances_
feature_names = X.columns
sorted_indices = np.argsort(feature_importances)[::-1]
sorted_features = [feature_names[i] for i in sorted_indices]
top_features = sorted_features[:10]  # 显示前10个重要的特征

plt.bar(range(len(top_features)), feature_importances[sorted_indices][:10])
plt.xticks(range(len(top_features)), top_features, rotation=45)
plt.xlabel("Features")
plt.ylabel("Importance")
plt.title("Feature Importance")
plt.show()

这个实战项目案例将帮助你将sklearn的知识应用于一个完整的机器学习任务，提升你的实践能力和问题解决能力。