机器学习--房价预测问题

1.房价预测问题分析

房价预测是一种最常见的监督学习和回归问题；在这个问题中，会给出一系列房子的数据，比如给定数据集中每个样本的正确价格，也就是它们的实际售价，然后运用学习算法，算出更多的正确答案。

2.代码详解

1. 数据获取与处理。
   open(“house_prices.txt”, ‘r’) 以只读的方式打开文件。
   split()：拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表。
   虽然该数据集比较简单，但可以看到其中的数字都相当大。保留它原始形式确实可能是有必要的，但一般而言，我们应该对它做简单的处理以期望降低问题的复杂度。在本例中，采取常用的将输入数据标准化的做法，其数学公式为：（std（x）为标准差）
   

# 导入需要用到的库
import numpy as np
import matplotlib.pyplot as plt

# 定义存储输入数据（x）和目标数据（y）的数组
x, y = [], []
# 遍历数据集，变量sample对应的正是一个个样本
for sample in open("house_prices.txt", 'r'):
    _x, _y = sample.split(",")
    # 将字符串数据转化为浮点数
    x.append(float(_x))
    y.append(float(_y))
# 读取完数据后，将他们转化为Numpy数组以方便进一步的处理
x, y = np.array(x), np.array(y)
# 标准化
x = (x - x.mean()) / x.std()
# 将原始数据集以散点的形式画出
plt.figure()
plt.scatter(x, y, c="g", s=6)
plt.show()

横轴是标准化之后的面积，纵轴是房子的价格
2. 选择与训练模型。
在弄好数据之后，下一步就要开始选择相应的学习方法和模型了。通过可视化原始数据，可以非常直观的感受到：通过线性回归中的多项式拟合是一个不错的办法。其模型的数学表达式如下：

模型损失函数是平方损失函数也就是所谓的欧式距离，这里的目的是要将损失函数最小化
利用Numpy训练和优化
p=polyfit(x,y,n)
说明：x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s用于生成预测值的误差估计。

# (-2,4)这个区间上取100个点作为画图的基础
x0 = np.linspace(-2, 4, 100)
# 利用Numpy的函数定义训练并返回多项式回归模型的次数
# deg参数代表着模型参数中的n，即模型中多项式的次数
# 返回的模型能够根据输入的x（默认是x0）,返回预测的y
def get_model(deg):
    return lambda input_x=x0: np.polyval(np.polyfit(x, y ,deg), input_x)

3. 评估与显示，多项式拟合，采用n=1，4，10进行评估

# 根据参数n、输入的x,y返回相对应的损失
def get_cost(deg, input_x,input_y):
    return 0.5 * ((get_model(deg)(input_x) - input_y) ** 2).sum()
# 定义测试函数集并根据它进行各种实验
test_set = (1, 4, 10)
for d in test_set:
    # 输出损失
    print(get_cost(d, x, y))
# 画出相应的图像
plt.scatter(x, y, c="g", s=20)
for d in test_set:
    plt.plot(x0, get_model(d)(), label="degree = {}".format(d))
# 将横轴和纵轴的范围分别限制在(-2,4)和(10^5,10^6)
plt.xlim(-2, 4)
plt.ylim(1e5, 1e6)
# 调用legend方法使曲线对应的label正确显示
plt.legend()
plt.show()

4. 分析结果当n=4和n=10时出现过拟合现象，所以n=1是预测较好的模型。
5. 该代码的数据集
house_prices.txt
2104,399900
1600,329900
2400,369000
1416,232000
3000,539900
1985,299900
1534,314900
1427,198999
1380,212000
1494,242500
1940,239999
2000,347000
1890,329999
4478,699900
1268,259900
2300,449900
1320,299900
1236,199900
2609,499998
3031,599000
1767,252900
1888,255000
1604,242900
1962,259900
3890,573900
1100,249900
1458,464500
2526,469000
2200,475000
2637,299900
1839,349900
1000,169900
2040,314900
3137,579900
1811,285900
1437,249900
1239,229900
2132,345000
4215,549000
2162,287000
1664,368500
2238,329900
2567,314000
1200,299000
852,179900
1852,299900
1203,239500

3.总结

监督学习指的就是们给学习算法一个数据集。这个数据集由“正确答案”组成。在房价的例子中，我们给了一系列房子的数据，我们给定数据集中每个样本的正确价格，即它们实际的售价然后运用学习算法，算出更多的正确答案。用术语来讲，这叫做回归问题。
回归这个词的意思是，我们在试着推测出这一系列连续值属性。