机器学习实训 Day1（线性回归练习）

已于 2024-04-14 12:39:19 修改
阅读量1.2k 收藏 10
点赞数 30
分类专栏： 机器学习coding实训 文章标签： 机器学习 人工智能
于 2024-04-10 20:20:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65403042/article/details/137609396
版权

线性回归练习 Day1

手搓线性回归

随机初始数据

import numpy as np
x = np.array([56, 72, 69, 88, 102, 86, 76, 79, 94, 74])
y = np.array([92, 102, 86, 110, 130, 99, 96, 102, 105, 92])

from matplotlib import pyplot as plt
# 内嵌显示
%matplotlib inline

plt.scatter(x, y)
plt.xlabel("arear")
plt.ylabel("price")

Text(0, 0.5, 'price')

​
image-20240410201652825

# 定义线性模型
def f(x ,w0, w1):
    y = w0 +w1*x
    return y

# 定义平方损失函数
def loss(x, y, w0, w1):
    loss = sum(np.square(y-(w0 +w1*x)))
    return loss

最小二乘法 — 定义为：
f = ∑ i = 1 n ( y i − ( w 0 + w 1 x i ) ) 2 f = \sum\limits_{i = 1}^n {{{(y_{i}-(w_0 + w_1x_{i}))}}^2} f=i=1∑n​(yi​−(w0​+w1​xi​))2
对loss 求w0 和w1 的偏微分，解方程组可得
w 1 = n ∑ x i y i − ∑ x i ∑ y i n ∑ x i 2 − ( ∑ x i ) 2 w_{1}=\frac {n\sum_{}^{}{x_iy_i}-\sum_{}^{}{x_i}\sum_{}^{}{y_i}} {n\sum_{}^{}{x_i}^2-(\sum_{}^{}{x_i})^2} w1​=n∑​xi​2−(∑​xi​)2n∑​xi​yi​−∑​xi​∑​yi​​

w 0 = ∑ x i 2 ∑ y i − ∑ x i ∑ x i y i n ∑ x i 2 − ( ∑ x i ) 2 w_{0}=\frac {\sum_{}^{}{x_i}^2\sum_{}^{}{y_i}-\sum_{}^{}{x_i}\sum_{}^{}{x_iy_i}} {n\sum_{}^{}{x_i}^2-(\sum_{}^{}{x_i})^2} w0​=n∑​xi​2−(∑​xi​)2∑​xi​2∑​yi​−∑​xi​∑​xi​yi​​

# 使用代码实现上述过程 -- 求解最优的w0 和w1
def culculate_w(x, y):
    n = len(x)
    w1 = (n*sum(x*y) - sum(x)*sum(y))/(n*sum(x*x) - sum(x)*sum(x))
    w0 = (sum(x*x)*sum(y) - sum(x)*sum(x*y))/(n*sum(x*x)-sum(x)*sum(x))
    return w0, w1

culculate_w(x, y)

(41.33509168550616, 0.7545842753077117)

w0 = culculate_w(x, y)[0]
w1 = culculate_w(x, y)[1]

x_temp = np.linspace(50, 120, 100)
plt.scatter(x, y)
%time plt.plot(x_temp, x_temp*w1+w0, "r")

Wall time: 0 ns

​
image-20240410201707253

假设我有一个100平米的房子要售出，则可以表示为：

f(100, w0, w1)

116.79351921627732

使用scikit -learn 实现

sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)

  • fit_intercept: 默认为 True，计算截距项。
  • normalize: 默认为 False，不针对数据进行标准化处理。
  • copy_X: 默认为 True，即使用数据的副本进行操作，防止影响原数据。
  • n_jobs: 计算时的作业数量。默认为 1，若为 -1 则使用全部 CPU 参与运算。
from sklearn.linear_model import LinearRegression

model = LinearRegression()
 # 训练, reshape 操作把数据处理成 fit 能接受的形状
model.fit(x.reshape(len(x), 1), y)
# 截距项和系数
model.intercept_,model.coef_

(41.33509168550615, array([0.75458428]))

model.predict([[100]])

array([116.79351922])

最小二乘法的矩阵推导（方便运算）

首先，一元线性函数的表达式为 $ y(x, w) = w_0 + w_1x$，表达成矩阵形式为：
[ 1 , x 1 1 , x 2 ⋯ 1 , x 9 1 , x 10 ] [ w 0 w 1 ] = [ y 1 y 2 ⋯ y 9 y 10 ] ⇒ [ 1 , 56 1 , 72 ⋯ 1 , 94 1 , 74 ] [ w 0 w 1 ] = [ 92 102 ⋯ 105 92 ] (8a) \left[ \begin{array}{c}{1, x_{1}} \\ {1, x_{2}} \\ {\cdots} \\ {1, x_{9}} \\ {1, x_{10}}\end{array}\right] \left[ \begin{array}{c}{w_{0}} \\ {w_{1}}\end{array}\right] = \left[ \begin{array}{c}{y_{1}} \\ {y_{2}} \\ {\cdots} \\ {y_{9}} \\ {y_{10}}\end{array}\right] \Rightarrow \left[ \begin{array}{c}{1,56} \\ {1,72} \\ {\cdots} \\ {1,94} \\ {1,74}\end{array}\right] \left[ \begin{array}{c}{w_{0}} \\ {w_{1}}\end{array}\right]=\left[ \begin{array}{c}{92} \\ {102} \\ {\cdots} \\ {105} \\ {92}\end{array}\right] \tag{8a} ​1,x1​1,x2​⋯1,x9​1,x10​​ ​[w0​w1​​]= ​y1​y2​⋯y9​y10​​ ​⇒ ​1,561,72⋯1,941,74​ ​[w0​w1​​]= ​92102⋯10592​ ​(8a)

y ( x , w ) = X W (8b) y(x, w) = XW \tag{8b} y(x,w)=XW(8b)
( 8 ) (8) (8) 式中， W W W 为 [ w 0 w 1 ] \begin{bmatrix}w_{0} \\ w_{1} \end{bmatrix} [w0​w1​​]，而 X X X 则是 [ 1 , x 1 1 , x 2 ⋯ 1 , x 9 1 , x 10 ] \begin{bmatrix}1, x_{1} \\ 1, x_{2} \\ \cdots \\ 1, x_{9} \\ 1, x_{10} \end{bmatrix} ​1,x1​1,x2​⋯1,x9​1,x10​​ ​ 矩阵。然后，平方损失函数为：
f = ∑ i = 1 n ( y i − ( w 0 + w 1 x i ) ) 2 = ( y − X W ) T ( y − X W ) (9) f = \sum\limits_{i = 1}^n {{{(y_{i}-(w_0 + w_1x_{i}))}}}^2 =(y-XW)^T(y-XW)\tag{9} f=i=1∑n​(yi​−(w0​+w1​xi​))2=(y−XW)T(y−XW)(9)
通过对公式 ( 9 ) (9) (9) 实施矩阵计算乘法分配律得到：
在该公式中 y y y 与 X W XW XW 皆为相同形式的 ( m , 1 ) (m,1) (m,1) 矩阵，由此两者相乘属于线性关系，所以等价转换如下：
f = y T y − ( X W ) T y − ( X W ) T y + ( X W ) T ( X W ) = y T y − 2 ( X W ) T y + ( X W ) T ( X W ) (11) f = y^{T}y - (XW)^{T}y - (XW)^{T}y + (XW)^{T}(XW)\\ = y^{T}y - 2 (XW)^{T}y + (XW)^{T}(XW) \tag{11} f=yTy−(XW)Ty−(XW)Ty+(XW)T(XW)=yTy−2(XW)Ty+(XW)T(XW)(11)

∂ f ∂ W = 2 X T X W − 2 X T y = 0 (12) \frac{\partial f}{\partial W}=2X^TXW-2X^Ty=0 \tag{12} ∂W∂f​=2XTXW−2XTy=0(12)

当矩阵 X T X X^TX XTX 满秩时， ( X T X ) − 1 X T X = E (X^TX)^{-1}X^TX=E (XTX)−1XTX=E，且 E W = W EW=W EW=W。所以有 ( X T X ) − 1 X T X W = ( X T X ) − 1 X T y (X^TX)^{-1}X^TXW=(X^TX)^{-1}X^Ty (XTX)−1XTXW=(XTX)−1XTy，并最终得到：
W = ( X T X ) − 1 X T y (13) W=(X^TX)^{-1}X^Ty \tag{13} W=(XTX)−1XTy(13)

def w_matrix(x, y):
    w = (x.T *x).I*x.T*y
    return w


# 这里给截距系数加1
# 为什么？
x = np.matrix([[1, 56], [1, 72], [1, 69], [1, 88], [1, 102],
               [1, 86], [1, 76], [1, 79], [1, 94], [1, 74]])
x


matrix([[  1,  56],
        [  1,  72],
        [  1,  69],
        [  1,  88],
        [  1, 102],
        [  1,  86],
        [  1,  76],
        [  1,  79],
        [  1,  94],
        [  1,  74]])

y = np.matrix([92, 102, 86, 110, 130, 99, 96, 102, 105, 92])
y

matrix([[ 92, 102,  86, 110, 130,  99,  96, 102, 105,  92]])

y.reshape(10, 1)

matrix([[ 92],
        [102],
        [ 86],
        [110],
        [130],
        [ 99],
        [ 96],
        [102],
        [105],
        [ 92]])

w_matrix(x, y.reshape(10, 1))  #这里注意一下这个reshape的函数，可以简单介绍一下

matrix([[41.33509169],
        [ 0.75458428]])

实战之波士顿房价

import pandas as pd

df = pd.read_csv(
    "https://labfile.oss.aliyuncs.com/courses/1081/course-5-boston.csv")

df.head()
crimzninduschasnoxrmagedisradtaxptratioblacklstatmedv
00.0063218.02.3100.5386.57565.24.0900129615.3396.904.9824.0
10.027310.07.0700.4696.42178.94.9671224217.8396.909.1421.6
20.027290.07.0700.4697.18561.14.9671224217.8392.834.0334.7
30.032370.02.1800.4586.99845.86.0622322218.7394.632.9433.4
40.069050.02.1800.4587.14754.26.0622322218.7396.905.3336.2
  • CRIM: 城镇犯罪率。
  • ZN: 占地面积超过 2.5 万平方英尺的住宅用地比例。
  • INDUS: 城镇非零售业务地区的比例。
  • CHAS: 查尔斯河是否经过 (=1 经过，=0 不经过)。
  • NOX: 一氧化氮浓度（每 1000 万份）。
  • RM: 住宅平均房间数。
  • AGE: 所有者年龄。
  • DIS: 与就业中心的距离。
  • RAD: 公路可达性指数。
  • TAX: 物业税率。
  • PTRATIO: 城镇师生比例。
  • BLACK: 城镇的黑人指数。
  • LSTAT: 人口中地位较低人群的百分数。
  • MEDV: 城镇住房价格中位数。

以下是双中括号和单中括号用法的区别：

  • df[‘column_name’]：这将返回df中名为’column_name’的列作为一个Series对象。
  • df[[‘column_name’]]：即使只选择了一列，这也将返回一个包含单个列的DataFrame对象。
  • df[[‘column1’, ‘column2’, …]]：这将返回一个包含多个列的新DataFrame对象。
# 选择特征并进行描述
# 注意这里的特征选择哈，需要用双中括号
features = df[['crim', 'black', 'rm']]
features
这里看出df 是一个矩阵哈
crimblackrm
00.00632396.906.575
10.02731396.906.421
20.02729392.837.185
30.03237394.636.998
40.06905396.907.147
............
5010.06263391.996.593
5020.04527396.906.120
5030.06076396.906.976
5040.10959393.456.794
5050.04741396.906.030

506 rows × 3 columns

# 这个函数好啊 df.describe()
features.describe()
crimblackrm
count506.000000506.000000506.000000
mean3.593761356.6740326.284634
std8.59678391.2948640.702617
min0.0063200.3200003.561000
25%0.082045375.3775005.885500
50%0.256510391.4400006.208500
75%3.647423396.2250006.623500
max88.976200396.9000008.780000
target = df['medv']  # 目标值数据
pd.concat([features, target], axis = 1).head()
crimblackrmmedv
00.00632396.906.57524.0
10.02731396.906.42121.6
20.02729392.837.18534.7
30.03237394.636.99833.4
40.06905396.907.14736.2
  • pd.concat()是pandas库中用于合并两个或多个pandas对象的函数。
  • axis=1参数指定了合并的方向，axis=1表示沿着水平轴合并，即将target添加为features旁边的新列。
target = df['medv']  # 目标值数据
pd.concat([features, target], axis = 1).head()


split_num = int(len(features)*0.8)  # 得到 70% 位置
# 巧用切片
X_train = features[:split_num]  # 训练集特征
y_train = target[:split_num]  # 训练集目标
X_test = features[split_num:]  # 测试集特征
y_test = target[split_num:]  # 测试集目标

# 建立模型 这里x 和y 都是矩阵哈
model = LinearRegression()
model.fit(X_train, y_train)
model.intercept_, model.coef_

(-32.144190320694356,
 array([-2.56053360e-01, -2.08542666e-03,  9.09551839e+00]))

preds = model.predict(X_test)  # 输入测试集特征进行预测
preds  # 预测结果

array([ 6.84236606,  1.35146498, -0.58345448, 15.11080818, 16.39338694,
       26.10728436,  7.11979357, 24.73385248,  5.07320962,  6.96583067,
       -2.93906591, 21.68892456, 26.72249946,  9.19066152,  3.17485413,
       26.79800917, 22.66348233, 20.01804056, 15.53430933, 21.55521943,
       16.21350586, 17.40588695, 17.75900807, 14.583511  , 22.0962585 ,
       23.36733576, 23.24569317, 27.25939339, 24.44022716, 24.75657544,
       20.54835856, 25.06325907, 22.87213135, 19.90582961, 18.19159772,
       15.80408347, 14.31093718, 22.82690027, 22.14476301, 23.48178335,
       17.3213156 , 26.34194786, 23.25722383, 21.360374  , 20.89514026,
       23.66028342, 27.5207012 , 26.25233117, 23.02385692, 32.20317668,
       26.60052985, 25.88101696, 20.99330272, 19.73972181, 22.61401255,
       20.59648876, 27.04045293, 24.08690317, 22.7804789 , 24.78311323,
       21.49489332, 18.72948302, 20.9798386 , 20.63298594, 16.99866114,
       15.64287713, 22.00664348, 22.65331358, 24.66954478, 29.3713086 ,
       14.41919617, 21.63403039, 24.75754314, 11.52283228, 20.69956041,
       20.04221596, 22.31107232, 26.96924151, 29.78745483, 18.72312515,
       19.8734271 , 23.51562772, 21.18951208, 19.5170519 , 16.60020756,
       16.33450271, 13.46210161, 21.43367535, 21.41808652, 18.8918507 ,
       20.856561  , 18.56139052, 15.97879492, 19.6588178 , 21.71280156,
       17.63786833, 21.78933994, 26.98905942, 22.68108487, 30.46288234,
       28.80218963, 21.86194026])

def mae_value(y_true, y_pred):
    n = len(y_true)
    mae = sum(np.abs(y_true - y_pred))/n
    return mae

def mse_value(y_true, y_pred):
    n = len(y_true)
    mse = sum(np.square(y_true - y_pred))/n
    return mse

mae = mae_value(y_test.values, preds)
mse = mse_value(y_test.values, preds)

print("MAE: ", mae)
print("MSE: ", mse)

MAE:  6.332365508141984
MSE:  59.89375772584887

这主要是因为我们没有针对数据进行预处理。上面的实验中，我们随机选择了 3 个特征，并没有合理利用数据集提供的其他特征。除此之外，也没有针对异常数据进行剔除以及规范化处理。

靴子学长
关注
  • 30
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习实训（1）——概览（补充）
WHJ226的博客
09-04 706
基于模型的学习算法搜索的是使模型泛化最佳的模型参数值。通常通过使成本函数最小化来训练这样的系统，成本函数衡量的是系统对训练数据的预测有多坏，如果模型有正则化，则再加上一个对模型复杂度的惩罚。模型有一个或多个参数，这些参数决定了模型对新的给定实例会做出怎样的预测。不存在已知算法解决方案的复杂问题，需要大量手动调整或是规则列表超长的问题，创建可以适应环境波动的系统，帮助我们学习。使用测试集来估算模型在新实例上的泛化误差，验证集则用来比较不同模型，选择最佳模型和调整超参数。包含每个实例所期望的解决方案的训练集。
机器学习实训（3）——训练模型（补充）
WHJ226的博客
09-05 1013
下面的训练代码与上面的代码类似，但损失现在有一个额外的ℓ2惩罚，梯度有适当的额外项(注意，我们没有正则化Theta的第一个元素，因为它对应于偏差项)。如果优化问题是凸的，并且学习率也不是太高，那么所有梯度下降算法都可以接近全局最优，最终生成的模型都非常相似。但是除非降低学习率，否则随机梯度下降和小批量梯度下降都不会真正收敛，相反，它们会不断在全局最优的附近波动。不错，不过模型有一点不完美。我们可以对多项式降阶：自由度越低的模型，过度拟合的可能性越低，或者施加正则化，在成本函数中增加岭回归或LASSO回归。
Python机器学习实训营（原理推导+代码复现+实验分析）
07-14
购买课程后，添加小助手微信（微信号：csdnxy68）回复【唐宇迪】进入学习群，获取唐宇迪老师答疑Python机器学习实训营（原理推导+代码复现+实验分析）课程旨在帮助同学们在机器学习领域打下坚实基础。课程注重算法原理讲解与数学公式推导并基于Python语言给出完整的代码实现，从零开始实现每一模块功能（非调用工具包）通过代码实例演示算法工作流程与实现方法，基于案例进行实验分析，算法涉及核心知识点全方位解读。整体风格通俗易懂，建议同学们在学习过程中先掌握算法原理，基于数学推导公式进行代码复现与实战演练。课程提供全部课程所需PPT，数据，代码。
机器学习实验及学习经验
joker_sxj的博客
11-06 3826
本实验记录作者在学习周志华老师的《机器学习》过程中所做的实验实验所用软件为WEKA，使用教程可见。
吴恩达机器学习线性回归练习题及答案
12-28
在本资源中，我们主要关注的是吴恩达（Andrew Ng）的机器学习课程中的线性回归部分。吴恩达是斯坦福大学计算机科学教授，也是Coursera在线教育平台的联合创始人，他在机器学习领域有着深厚的理论基础和实践经验。...
机器学习之线性回归，初学者练习资料
最新发布
06-05
给机器学习初学者一些参考，包括如何对数据进行预处理，线性回归的核心思想演示，最终进行线性回归的py代码。
机器学习-线性回归整理PPT
12-04
总结常见的机器学习线性回归的方法，最小二乘法、局部加权法、岭回归、Lasso回归、多项式回归公式推导过程
python机器学习算法实训 – （一） 线性回归
01-20
python机器学习算法实训 – （一） 线性回归 线性回归 此系列权作本学期机器学习课堂笔记 以后会持续更新各类算法（希望）ppt内容来自老师 每个算法的代码都同时自己编写实现和用sklearn实现了一次 欢迎批评斧正^ ^...
机器学习——单变量线性回归详解
12-22
向量化：将数据数据向量化：分成两个维度，第一维所有的行都要，X是前面所有列特征，Y是最后一列标签给出线性回归表达式给出代价函数通过梯度下降法是代价函数最小，给出参数更新公式numpy.matrix.flatten可视化结果...
机器学习实验.zip
07-15
机器学习实验，内含实验指导书(PPT与Word)和参考代码，包括线性回归模型、支持向量机模型、贝叶斯分类以及基于tensorflow实现cnn。
机器学习实验一
10-15
机器学习实验一，梯度下降法与线性回归 This first exercise will give you practice with linear regression. These exercises have been extensively tested with Matlab, but they should also work in Octave, which has been called a “free version of Matlab”. If you are using Octave, be sure to install the Image package as well (available for Windows as an option in the installer, and available for Linux from Octave-Forge ).
机器学习实训（2）——分类（补充）
WHJ226的博客
09-06 1348
我们不只是看10个交叉验证折叠的平均准确率，让我们绘制每个模型的所有10个得分，以及一个突出显示分数上下四分之一的盒子图，以及显示得分程度。从结果来看，Age, Cabin以及Embarked属性中的数据是缺失的，我们可以忽略 Cabin ，暂时先不管，先处理其他的。现在我们有了一个很好的预处理管道，它可以提取原始数据并输出数值输入特征，我们可以将这些特征输入到任何我们想要的机器学习模型中。但是，测试数据不包含标签：我们的目标是使用训练数据训练出最好的模型，然后根据测试数据进行预测。
AI 机器学习实践总结
pop_xiaohao的专栏
03-02 3195
机器学习基础 什么是机器学习 机器学习是一种从数据生成规则、发现模型，来帮助我们预测、判断、分组和解决问题的技术。(机器学习是一种从数据中生产函数，而不是程序员直接编写函数的技术) 说起函数就涉及到自变量和因变量，在机器学习中，把自变量叫做特征（feature）多个自变量分别可以定义为X1，X2..Xn，因变量叫做标签（label），可定义为Y，而一批特征和标签的集合，就是机器学习的数据集。 机器学习的学习过程就是在已知的数据集的基础上，通过反复的计算，选择最准确的函数去描述数据集中自变量X1，..
机器学习实训（4）——支持向量机（补充）
WHJ226的博客
09-07 841
拟合类别之间可能的、最宽的“街道”。简而言之，它的目的是使决策边界之间的间隔最大化，从而分隔出两个类别的训练实例。位于“街道”之上的实例被称为支持向量，也包括处于边界上的实例。如果训练集不经缩放，SVM将趋于忽略值较小的特征。这个问题仅适用于线性支持向量机，因为核SVM只能使用对偶问题。这可能是由于过度正则化导致的，因此我们可以提升 gamma 或 C 来降低正则化。
使用sklearn库学习线性回归（一）
热门推荐
理科男同学
11-02 1万+
1，概述 1.1，判别式方法 产生式模型需要计算输入输出的联合概率 需要知道（or 假定）样本的概率分布 定义似然密度的隐式参数 为没给类别搜索最大化样本似然的参数 也称为基于似然的分类（Likelihood-based Classification） 判别式模型直接构造（假定）判别式 。 判别式的显式参数（特征变量的权重）。 判别式方法 基于似然的方法关注类区域中的概率密度 基于判别式的方法只关注类区域之间的边界。 1.2，线性回归介绍 回归是一种应
机器学习与数据挖掘-educoder-实训作业（逻辑回归）
m0_64351669的博客
10-16 3810
机器学习与数据挖掘-educoder-实训作业（逻辑回归）
【项目实训】实验九 机器学习基础
qq_42430054的博客
05-18 381
1.神经网络学习 实验背景 人工神经网络也简称为神经网络或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 实验目的 掌握 BP 神经网络的基本原理和基本的设计步骤 了解 BP 算法中各参数的作用和意义 实验数据 Fashion-MNIST数据集，数据集中包含 60000 张训练样本，10000 张测试样本，可将训练样本划分为49000 张样本的训练集和1000 张样
机器学习算法（1）K-近邻算法、线性回归、逻辑回归、决策树算法、集成学习、聚类算法
04-06
"这篇资源详细介绍了人工智能领域中的多个机器学习算法，包括K-近邻算法、线性回归、逻辑回归、决策树算法、集成学习以及聚类算法，并提供了相关的理论和实践案例。" 在机器学习中，K-近邻算法（K-Nearest ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值