李宏毅机器学习 task3作业

最新推荐文章于 2024-06-19 09:58:02 发布

Angela一缕阳光

最新推荐文章于 2024-06-19 09:58:02 发布

阅读量2.8k

点赞数

本文链接：https://blog.csdn.net/weixin_43369974/article/details/90760951

版权

该博客介绍了使用线性回归预测PM2.5值的机器学习任务，包括数据预处理、特征选择、模型训练和评估。通过热力图分析发现与PM2.5相关的特征，如PM10、NO2、SO2等，并使用线性回归模型进行预测，通过散点图展示了各特征与PM2.5的关系。

摘要由CSDN通过智能技术生成

李宏毅_Machine Learning_2019 Task 3

学习打卡内容

大作业

按照 Homework1_Introduction.txt 的要求完成本次作业
作业1：预测PM2.5的值
在这个作业中，我们将用梯度下降法 (Gradient Descent) 预测 PM2.5 的值 (Regression 回归问题)
Homework1要求：
要求 python3.5+
只能用
numpy
scipy
pandas
请用梯度下降手写线性回归
最好使用 Public Simple Baseline
对于想加载模型而并不想运行整个训练过程的人：
请上传训练代码并命名成 train.py
只要用梯度下降的代码就行了
Homework_best 要求：
要求 python3.5+
任何库都可以用
在 Kaggle 上获得你选择的更高的分
数据介绍：
本次作业使用豐原站的觀測記錄，分成 train set 跟 test set，train set 是豐原站每個月的前20天所有資料，test set則是從豐原站剩下的資料中取樣出來。
train.csv:每個月前20天每個小時的氣象資料(每小時有18種測資)。共12個月。
test.csv:從剩下的資料當中取樣出連續的10小時為一筆，前九小時的所有觀測數據當作feature，第十小時的PM2.5當作answer。一共取出240筆不重複的 test data，請根據feauure預測這240筆的PM2.5。
请完成之后参考以下资料：
Sample_code:https://ntumlta.github.io/2017fall-ml-hw1/code.html
Supplementary_Slide:https://docs.google.com/presentation/d/1WwIQAVI0RRA6tpcieynPVoYDuMmuVKGvVNF_DSKIiDI/edit#slide=id.g1ef6d808f1_2_0
答案参考answer.csv
Task 3 Implementation

方案1

‘’’
利用 Linear Regression 线性回归预测 PM2.5
该方法参考黑桃大哥的优秀作业-|vv|-
‘’’

导入必要的包 numpy、pandas以及scikit-learn归一化预处理

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler

指定相对路径

path = “./Dataset/”

利用 pands 进行读取文件操作

train = pd.read_csv(path + ‘train.csv’, engine=‘python’, encoding=‘utf-8’)
test = pd.read_csv(path + ‘test.csv’, engine=‘python’, encoding=‘gbk’)
train = train[train[‘observation’] == ‘PM2.5’]

print(train)

test = test[test[‘AMB_TEMP’] == ‘PM2.5’]

删除无关特征

train = train.drop([‘Date’, ‘stations’, ‘observation’], axis=1)
test_x = test.iloc[:, 2:]

train_x = []
train_y = []

for i in range(15):
x = train.iloc[:, i:i + 9]
# notice if we don’t set columns name, it will have different columns name in each iteration
x.columns = np.array(range(9))
y = train.iloc[:, i + 9]
y.columns = np.array(range(1))
train_x.append(x)
train_y.append(y)

review “Python for Data Analysis” concat操作

train_x and train_y are the type of Dataframe

取出 PM2.5 的数据，训练集中一共有 240 天，每天取出 15 组含有 9 个特征和 1 个标签的数据，共有 240159个数据

train_x = pd.concat(train_x) # (3600, 9) Dataframe类型
train_y = pd.concat(train_y)

将str数据类型转换为 numpy的 ndarray 类型

train_y = np.array(train_y, float)
test_x = np.array(test_x, float)

print(train_x.shape, train_y.shape)

进行标准缩放，即数据归一化

ss = StandardScaler()

进行数据拟合

ss.fit(train_x)

进行数据转换

train_x = ss.transform(train_x)

ss.fit(test_x)
test_x = ss.transform(test_x)

定义评估函数

计算均方误差（Mean Squared Error，MSE）

r^2 用于度量因变量的变异中可以由自变量解释部分所占的比例取值一般为 0~1

def r2_score(y_true, y_predict):
# 计算y_true和y_predict之间的MSE
MSE = np.sum((y_true - y_predict) ** 2) / len(y_true)
# 计算y_true和y_predict之间的R Square
return 1 - MSE / np.var(y_true)

线性回归

class LinearRegression:

def __init__(self):
    # 初始化 Linear Regression 模型
    self.coef_ = None
    self.intercept_ = None
    self._theta = None

def fit_normal(self, X_train, y_train):
    # 根据训练数据集X_train, y_train训练Linear Regression模型
    assert X_train.shape[0] == y_train.shape[0], \
        "the size of X_train must be equal to the size of y_train"

    # 对训练数据集添加 bias
    X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
    self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)

    self.intercept_ = self._theta[0]
    self.coef_ = self._theta[1:]

    return self

def fit_gd(self, X_train, y_train, eta=0.01, n_iters=1e4):
    '''
    :param X_train: 训练集
    :param y_train: label
    :param eta: 学习率
    :param n_iters: 迭代次数
    :return: theta 模型参数
    '''
    # 根据训练数