【机器学习】线性回归ex1data2

多变量线性回归

题目：卖房子，已知一系列数据，根据房屋大小和卧室数量两个特征，预测房子价钱，数据在（ex1data2.txt），计算1650平方英尺、3个卧室的房子价钱

预备知识：
一、归一化。

特征归一化(为了使梯度下降得更方便),（x-μ）/σ， 减去平均值再除以方差。概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率。像svm、线性回归之类的最优化问题就需要归一化。决策树属于前者。归一化也是提升算法应用能力的必备能力之一。

二、用正规方程（解析解）直接计算θ 。

代码

import numpy as np
import pandas as pd

path = 'E:\书籍\机器学习\机器学习题目代码及数据文件\线性回归\数据文件\ex1data2.txt'
data = pd.read_csv(path, names=['Size', 'Bedrooms', 'Price'])

# 特征归一化(为了使梯度下降得更方便),（x-μ）/σ， 减去平均值再除以方差
# 概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率。
# 像svm、线性回归之类的最优化问题就需要归一化。决策树属于前者。归一化也是提升算法应用能力的必备能力之一。
mean = data.mean()
std = data.std()
data = ((data - mean) / std)
data.insert(0, 'Ones', 1)

#定义代价函数
def computeCost(x, y, theta):
    inner = ((x@theta) - y)**2
    return np.sum(inner) / (2 * len(x))

#定义梯度下降函数
def gradient(x, y, theta, alpha, epoch):
    # m是样本的数量
    m = len(y)
    # 初始化一个ndarray，包含每次epoch的cost
    cost = np.zeros(epoch)
    for i in range(epoch):
        theta = theta-(alpha/m)*((x@theta-y).T@x)
        cost[i] = computeCost(x, y, theta)
    return theta, cost

# alpha - 学习率，epoch - theta迭代次数,theta初始为0
alpha = 0.01
epoch = 1000
theta = np.array([0, 0, 0])

# 获取设置数据,计算最终theta值
x = data.iloc[:, :-1].values
y = data.iloc[:, -1].values
theta, cost = gradient(x, y, theta, alpha, epoch)
# size=1650 bedrooms=3 求price
price = (theta[0]+(([1650, 3] - mean[0:2]) / std[0:2])@theta[1:]) * std[2] + mean[2]
print(price)

theta = np.array([0, 0, 0])
# 正规方程
def normalEqn(x, y, theta):
    theta = np.linalg.pinv(x.T@x)@x.T@y #X.T@X等价于X.T.dot(X)
    return theta

theta = normalEqn(x, y, theta)
price = (theta[0]+(([1650, 3] - mean[0:2]) / std[0:2])@theta[1:]) * std[2] + mean[2]
print(price)