车前猛跑

∂XT∂X=I\frac{\partial{X^T}}{\partial{X}} = I∂X∂XT​=I，求解出来是单位矩阵∂XTA∂X=A\frac{\partial{X^T}A}{\partial{X}} = A∂X∂XTA​=A∂AXT∂X=A\frac{\partial{A}X^T}{\partial{X}} = A∂X∂AXT​=A∂AX∂X=AT\frac{\partial{A}X}{\partial{X}} = A^T∂X∂AX​=AT∂XA∂X=AT\frac{\partial{X}

机器学习中，梯度下降法，牛顿法都会用到梯度概念。对于多元函数，梯度可以看成偏导数。对于一元函数，梯度可以看成导数。，那么它的梯度就是由。分别求偏导组成的向量。

泰勒展开可以用来研究函数某些性质。在机器学习里面，用来求函数的极值，很多时候函数 f(x)可能会非常复杂，无法直接计算，可用泰勒展开做近似计算。而牛顿法是保留泰勒展开二阶项，忽略二阶以上的项，用泰勒二阶展开来进行函数f(x)近似表达。梯度下降法怎么做的呢？是做一个近似，保留泰勒展开一阶项。

当斜率加上随机正态分布的波动数据后，通过地图下降求解出的w=9.34389628，b=4.77139965，基本比较精确。但是要注意的是，8元数据+1个截距 = 9个维度，那么下面计算代码中的theta的形状，需要将（2，1）改成（9，1）观察前X中10个数据，不光有随机生成的x(第一列)，还增加了作为偏置项的b(第二列)随着训练次数的增加，会越逼近最优解，那么学习率也应该随之逐渐减小。数据构造完毕，下面进行计算的代码，基本与1元部分一样。可以看到，随机生成的w=9，b=5。前8个数据是w，第9个是b。

torch-2.2.2：torch版本2.2.2。cp311：python版本3.11。cu118：cuda版本11.8。进入下载torch所在目录安装。

本文从原理上介绍了三种梯度下降的方法，相同点，异同点，优缺点。内容包含了数学公式的推导与说明。

梯度下降法(GradientDescent)算法，不像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法（都是无约束最优化问题）求解出最优解，所谓的通用就是很多机器学习算法都是用梯度下降，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ\thetaθ求解出来，梯度下降法就是一种经典常用的优化算法。之前利用正规方程求解的θ是最优解的原因是MSE这个损失函数是凸函数。

波士顿房价问题是一个经典的机器学习问题，用于预测波士顿地区房屋的中位数价格。该问题涉及的数据集包含了506个样本，每个样本有13个特征指标，这些特征涵盖了城镇的各种社会经济和地理因素。以下是这些特征指标的简要描述：CRIM：城镇的犯罪率（人均犯罪率）。ZN：住宅用地超过25000平方英尺的比例。INDUS：每个城镇的非零售商业用地比例。CHAS：查尔斯河虚拟变量（如果房屋附近是查尔斯河，则为1；否则为0）。NOX：一氧化氮浓度（每千万份）。RM：每个住宅的平均房间数。

【代码】线性回归计算举例。

ab2等于什么？a22abb2那么，如何通过排列组合知识从理论上抽象出公式呢？ab2abababababaabbababa×aa×bb×ab×babC21​abC21​C21​C21​4a2−k⋅bkC20​1a2⋅b0C21​2a1⋅b1C22​1a0⋅b2a22abb2按照上述规律，计算ab3C30。

通过现有数据，总结出数据所对应的线性方程的斜率与截距fx1​x2​...xn​w1​x1​w2​x2​...wn​xn​b。

在线性代数中，对于一个给定的线性变换A，他的特征向量v经过这个线性变换的作用之后，得到的新向量仍然与原来的v保持在同一条直线上。但长度或方向也许会改变。Avλv其中λ为标量，即特征向量的长度在该线性变换下缩放的比例，称为其特征值。A14​1−2​v1​12​A与v1​内积后的Av1​与v1​不在一条直线上，所以v1​不是A的特征向量Av1​30​v2​11​Av2​14​1−2​22​。

随机数, 正态分布随机数, 排序函数, 聚合函数, unique函数, where函数

自定义通用函数(ufunc)数组操作将用于数组中的每一个元素，语法格式如下：```pythonufunc = numpy.frompyfunc(func, nin, nout)```* func：任何python函数，可以是内置的，也可以是自定义函数* nin：传入数组参数个数* nout：返回数组个数该函数返回一个自定义的通用函数，类型是numpy.ufunc。

1. 连接数组，2. 分割数组， 3.算术运算， 4.广播

二维数组，索引访问，切片访问，花式索引，迭代数组

1. numpy类型入门2. 好像挺简单，忘了做笔记3. numpy中的几种数组函数4. 二维数组