《机器学习》学习笔记

机器学习

线性模型

模型描述

回归：预测一个具体的数值输出

notation：

m：训练样本的数量

x：输入变量（input）

y：输出变量（target）

（x，y）表示训练样本

h：hypothesis（函数）

损失函数（代价函数）

$h_{\Theta }(x)={\Theta }_0+{\Theta }_{1}x$

$\Theta$是模型函数

需要尽量选择参数，使得在训练集中，给出训练集x的值，可以合理准确的预测出y的值

$\underset{{\Theta }_0{\Theta }_1}{\min }\frac{1}{2m}\sum (h_{\Theta }(x)-y{)}^2$

这里的$\frac{1}{2m}$是为了开导时刚到抵消掉平方，对优化结果来说无影响

对上述式子求min，得出最优$\Theta$

这个代价函数也被称作平方误差函数，是解决回归问题的最常用手段

总结：

梯度下降

存在函数$J({\Theta }_0,{\Theta }_1)$

想得到$\underset{{\Theta }_0{\Theta }_1}{\min }J({\Theta }_0,{\Theta }_1)$

define:

${\Theta }_j:={\Theta }_j-\alpha \frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)$$(forj=0andj=1)$

$:=$表示赋值

$\alpha$表示梯度下降时，迈出多大的步子(学习速率)

$\frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)$是一个导数项

需要同时更新${\Theta }_0,{\Theta }_1$

$temp0:={\Theta }_0-\alpha \frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)$

$temp1:={\Theta }_1-\alpha \frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)$

${\Theta }_0:=temp0$

${\Theta }_1:=temp1$

$\frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)=\frac{\partial }{\partial {\theta }_j}\bullet \frac{1}{2m}\sum (h_{\Theta }(x)-y{)}^2$

$=\frac{\partial }{\partial {\theta }_j}\bullet \frac{1}{2m}\sum ({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2$

$j=0:\frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)=\frac{\partial }{\partial \theta }\bullet \frac{1}{m}\sum (h(x^{(i)})-y^{(i)})$

$j=1:\frac{\partial }{\partial {\Theta }_j}J({\Theta }_0,{\Theta }_1)=\frac{\partial }{\partial \theta }\bullet \frac{1}{m}\sum (h(x^{(i)})-y^{(i)})\bullet x^{(i)}$

code

import numpy as np

# 定义梯度下降的线性回归模型类
class LinearRegression:
    def __init__(self, learning_rate=0.01, num_iters=1000):
        self.learning_rate = learning_rate  # 学习率
        self.num_iters = num_iters          # 迭代次数
        self.weights = None                  # 线性回归的权重
        self.bias = None                     # 线性回归的偏差

    def fit(self, X, y):
        num_samples, num_features = X.shape

        # 初始化权重和偏差为0
        self.weights = np.zeros(num_features)
        self.bias = 0

        # 梯度下降迭代
        for _ in range(self.num_iters):
            # 计算线性关系预测值
            y_pred = np.dot(X, self.weights) + self.bias

            # 计算误差
            error = y_pred - y

            # 计算梯度
            dw = (1 / num_samples) * np.dot(X.T, error)
            db = (1 / num_samples) * np.sum(error)

            # 更新权重和偏差
            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db

    def predict(self, X):
        # 使用训练得到的权重和偏差进行预测
        y_pred = np.dot(X, self.weights) + self.bias
        return y_pred

# 测试例子
X = np.array([[1],   # 样本1
              [2],   # 样本2
              [4],   # 样本3
              [3],   # 样本4
              [5]])  # 样本5
y = np.array([3, 4, 6, 5, 7])  # 目标变量

# 创建线性回归模型对象
model = LinearRegression(learning_rate=0.01, num_iters=1000)

# 拟合数据
model.fit(X, y)

# 进行预测
X_test = np.array([[2], [6]])
predictions = model.predict(X_test)

print("预测结果：", predictions)

特征数据 X 为一维，因为这里只有一个特征 x。对应的目标变量 y 也为一维。

在这个例子中，我们通过 X 和 y 定义了线性回归的训练数据。然后，我们创建了一个模型对象 model，并使用 fit 函数拟合数据。最后，通过 predict 函数进行预测。

需要注意的是，这只是一个简单的线性回归模型实现示例，在实际应用中，可能需要考虑更多的特征和复杂性，以获得更准确的预测结果。

import numpy as np

# 定义梯度下降的线性回归模型类
class LinearRegression:
    def __init__(self, learning_rate=0.01, num_iters=1000):
        self.learning_rate = learning_rate  # 学习率
        self.num_iters = num_iters          # 迭代次数
        self.weights = None                  # 线性回归的权重
        self.bias = None                     # 线性回归的偏差

    def fit(self, X, y):
        num_samples, num_features = X.shape

        # 初始化权重和偏差为0
        self.weights = np.zeros(num_features)
        self.bias = 0

        # 梯度下降迭代
        for _ in range(self.num_iters):
            # 计算线性关系预测值
            y_pred = np.dot(X, self.weights) + self.bias

            # 计算误差
            error = y_pred - y

            # 计算梯度
            dw = (1 / num_samples) * np.dot(X.T, error)
            db = (1 / num_samples) * np.sum(error)

            # 更新权重和偏差
            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db

    def predict(self, X):
        # 使用训练得到的权重和偏差进行预测
        y_pred = np.dot(X, self.weights) + self.bias
        return y_pred

# 测试例子
X = np.array([[1, 1],   # 样本1
              [2, 3],   # 样本2
              [4, 3],   # 样本3
              [3, 2],   # 样本4
              [5, 5]])  # 样本5
y = np.array([4.8, 7.6, 8.8, 6.1, 10.1])  # 目标变量

# 创建线性回归模型对象
model = LinearRegression(learning_rate=0.01, num_iters=1000)

# 拟合数据
model.fit(X, y)

# 进行预测
X_test = np.array([[2, 1], [6, 5]])
predictions = model.predict(X_test)

print("预测结果：", predictions)

这段代码实现了一个简单的梯度下降的线性回归模型。我们首先定义了一个LinearRegression类，包含了初始化函数__init__、拟合函数fit和预测函数predict。在fit函数中，我们使用梯度下降方法来更新模型的权重和偏差，并在predict函数中使用训练得到的权重和偏差进行预测。

在测试例子中，我们使用了包含5个样本的2维特征数据X和对应的目标变量y。然后创建了一个模型对象model，并使用fit函数拟合数据。最后，我们使用predict函数进行预测，并打印出预测结果。

请注意，这只是一个简单的线性回归模型实现示例，实际应用中可能需要进行更多的数据预处理、模型评估和调参等步骤来得到更好的结果。
模型的权重和偏差，并在predict函数中使用训练得到的权重和偏差进行预测。

在测试例子中，我们使用了包含5个样本的2维特征数据X和对应的目标变量y。然后创建了一个模型对象model，并使用fit函数拟合数据。最后，我们使用predict函数进行预测，并打印出预测结果。

请注意，这只是一个简单的线性回归模型实现示例，实际应用中可能需要进行更多的数据预处理、模型评估和调参等步骤来得到更好的结果。