单变量线性回归预测幸福度

单变量线性回归来通过GDP预测国家的幸福度

环境是jupyter notebook,python3.7

导库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from homemade.linear_regression import LinearRegression

导入数据，并输出看一下数据状态，有时还需要看看有没有缺失值异常值，做一下数据清洗

data = pd.read_csv('F:/MLdata/data/world-happiness-report-2017.csv')
data.head(10)

• 可以看到数据里面有很多变量，但是我们想用一个变量去做回归预测幸福指数，所以我做了简单的数据分析并从里面选取了GDP为例做了单变量回归预测

特征关于幸福指数的柱状图分布

histohrams = data.hist(grid=False, figsize=(10, 10))

分割训练集测试集

# 将训练集拆分成8：2
train_data = data.sample(frac=0.8)
test_data = data.drop(train_data.index)

# 选取出我们想预测的向量和输入向量，分别是GDP和幸福指数
input_param_name = 'Economy..GDP.per.Capita.'
output_param_name = 'Happiness.Score'

# 将训练集测试集分别分割成x,y
x_train = train_data[[input_param_name]].values
y_train = train_data[[output_param_name]].values

x_test = test_data[[input_param_name]].values
y_test = test_data[[output_param_name]].values

# 画出训练集
plt.scatter(x_train, y_train, label='Training Dataset')
plt.scatter(x_test, y_test, label='Test Dataset')
plt.xlabel(input_param_name)
plt.ylabel(output_param_name)
plt.title('城市幸福度')
plt.legend()
plt.show()

• 测试集和训练集在大致趋势上还是能保持一致的，这样预测才会准确

模型部分

部分参数说明

• polynomial_degree - 这个参数允许我们添加其他多项式特征来使线性回归的直线弯曲。
• num_iterations - 这是梯度下降算法寻找成本函数最小值的次数，太小会导致模型没找到最小值。太大导致模型运行时间过久，而且不会提高准确性
• learning_rate - 这是梯度下降步骤的大小。小的学习步骤会使算法工作更长时间，并且可能需要更多的迭代才能达到成本函数的最小值。大的学习步骤可能会在新的迭代中丢失成本函数值的最小值和增长。
• regularization_param - 将对抗过度拟合的参数。参数越高，模型就或简单
• polynomial_degree - 附加多项式特征的次数 (x1^2 * x2, x1^2 * x2^2, ...).
• sinusoid_degree - 附加特征(sin(x), sin(2*x), ...)正弦函数的程度。允许添加正弦分量来进行曲线预测

num_iterations = 500 
regularization_param = 0  
learning_rate = 0.01  
polynomial_degree = 0  
sinusoid_degree = 0  

linear_regression = LinearRegression(x_train, y_train, polynomial_degree, sinusoid_degree)

(theta, cost_history) = linear_regression.train(
    learning_rate,
    regularization_param,
    num_iterations
)

print('Initial cost: {:.2f}'.format(cost_history[0]))
print('Optimized cost: {:.2f}'.format(cost_history[-1]))

theta_table = pd.DataFrame({'Model Parameters': theta.flatten()})
theta_table.head()

模型训练以及线性回归cost的计算与输出

模型评价部分

模型训练之后一定要对模型进行评价分析
画出线性回归代价梯度下降的过程

plt.plot(range(num_iterations), cost_history)
plt.xlabel('Iterations')
plt.ylabel('Cost')
plt.title('Gradient Descent Progress')
plt.show()

• 可以看到模型在100代的时候就接近收敛，500代的时候已经几乎不再发生变化了

画出预测直线与原数据集的对比

predictions_num = 100
x_predictions = np.linspace(x_train.min(), x_train.max(), predictions_num).reshape(predictions_num, 1);
y_predictions = linear_regression.predict(x_predictions)

plt.scatter(x_train, y_train, label='Training Dataset')
plt.scatter(x_test, y_test, label='Test Dataset')
plt.plot(x_predictions, y_predictions, 'r', label='Prediction')
plt.xlabel('Economy..GDP.per.Capita.')
plt.ylabel('Happiness.Score')
plt.title('国家幸福度')
plt.legend()
plt.show()

最后

输出一下回归预测的结果，并将其和原测试集数据进行比对

test_predictions = linear_regression.predict(x_test)

test_predictions_table = pd.DataFrame({
    'Economy GDP per Capita': x_test.flatten(),
    'Test Happiness Score': y_test.flatten(),
    'Predicted Happiness Score': test_predictions.flatten(),
    'Prediction Diff': (y_test - test_predictions).flatten()
})

test_predictions_table.head(10)

虽然近似预测了一下，还是有一些差别的，所以我再使用多变量线性回归预测一下结果看看是否会变更好

• 多变量线性回归预测链接