golfxiao的专栏

其次是cuda，vLLM是拿12.1版本编译的，但本地机器装的cuda为12.0，尝试过向下兼容的方式后无果，最终选择按照官方建议的cuda-12.1来重新安装，这意味着不仅仅是vLLM，机器上已经安装的pytorch、cuda都需要重新安装。

上面nvcc命令查到的cuda版本是12.0，但pytorch官网没有提供cuda 12.0的可选择版本，保险起见，选择了低于12.0的11.8作为兼容版本安装。每个库都有不同的版本，每个版本都有不同的依赖关系，如果多个项目的python环境混用，很快就会陷入各种库的依赖冲突的泥潭中。

尽管模型有两个层，但state_dict输出结果中仅包含来自线性层的参数，这是因为sigmoid层不包含任何可学习的参数。y_0。

深度学习领域我们常用jupyter来演练代码，但实际生产环境中不可能像jupyter一样，所有代码逻辑都在面向过程编程，这会导致代码可复用性差，维护难度高。本文我们将要对整个训练循环的逻辑进行重构，采用封装的方式来提升代码的可复用性，降低维护难度。

在pytorch中，数据集是torch.utils.data.Dataset的子类，可以把它理解成一个元组列表，每个元组对应一个点，包含特征x、标签y。getitem(index)：通过索引下标对数据集进行访问，可以访问单个数据点、数据切片、或者按需加载，但有一点要求是必须返回包含特征和标签的元组。

通过上面可以看到, 将参数b和w网格化的目的，是为了建立预测值、误差值、损失值与参数b、w的三维立体关系，这样通过简单的all_losses[b,w]就能得到模型在任意b、w参数组合上的损失，极大的方便了可视化显示。

Matplotlib 是 Python 中最受欢迎的数据可视化软件包之一，支持跨平台运行，它是 Python 常用的 2D 绘图库，同时它也提供了一部分 3D 绘图接口。

CUDA是NVIDIA提供的一种GPU并行计算框架，在pytorch中使用 .cuda() 表示让我们的模型或者数据从CPU迁移到GPU上（默认是0号GPU），通过GPU开始计算。注意：GPU使用时长的计算不是以实际运算时间来计，而是以用户绑定GPU设备的时长来计，这意味着哪怕你的代码没有在GPU上运行，只是简单绑定也会计算你的使用时长。

contiguous()方法可以返回一个新的连续的张量，和原张量具有相同的数据，但可能是一个新的内存副本。张量的连续性是指张量在内存中的存储是否连续，连续的张量是像数组一样顺序存储的，所以内存访问和操作更高效。

这个层没有定义需要训练的参数，这一类的层往往用于特定的功能转换，例如数据重排、裁剪、归一化等。使用nn.Parameter来创建需要训练的参数，以线性全连接层为例需要两个参数：权重和偏置需要两个参数in_units和units来指明输入维度和输出维度

激活函数的作用就是线性结果映射到一个非线性的输出，以帮助神经网络更好的适应输入数据，提高非线性拟合能力。可以理解为一个开关，当输入信号超过一定阀值时，神经元会被激活并产生输出，而未超过阀值时神经元将会被抑制。以猫和狗的分类问题为例，它本质上就是找到下面这条黑色的分割线，使得所有的猫和狗都能被正确的分类。

对每个项求幂（使用exp）；对每一行求和（小批量中每个样本是一行），得到每个样本的规范化常数；将每一行除以其规范化常数，确保结果的和为1。

相比具体每个类别的预测值大小，我们更关心正确类别的预测值是否远大于其它非正确类别的预测值，只有这样，才能表明模型能真正区分出正确类别。接着上面的例子，假设每次输入是一个2*2的灰度图像，我们可以用一个标量表示每个像素值，每个图像对应四个特征[x1,x2,x3,x4]。例如，如果为猫、鸡和狗的概率分别为0.1、0.8和0.1， 因为0.8概率最大，所以我们预测的类别是2，在我们的例子中代表“鸡”。所以，对于分类问题来说，我们不关心非正确类别的预测值，只关心正确类别的预测值有多大。

计算梯度需要先定义损失函数，这里使用上一篇文章中提到的平方误差函数，y表示真实值，y_hat表示预测值。"""均方损失"""params：一个包含需要被更新的参数张量列表。lr：学习率，用于控制参数更新的速度，即每一步更新的大小。

向量x是单个数据样本的特征，那对于有n个样本的训练数据集来说，可以使用矩阵X来表示整个数据集，X的每一行是一个样本，每一列是一种特征。机器学习领域，通常采用向量来表示多个特征，当我们的输入包含d个特征时，我们将预测结果（通常使用“尖角”符号表示的估计值）表示为性线回归是对n维输入的加权，外加偏差。

正向传播(又称前向传播)，从输入层开始，每一层计算的输出结果作为下一层的输入，继续向前传播，最终得到整个神经网络的输出结果（图中从a->b->z)。原因：梯度是通过链式法则逐层传播得到的，为了计算某一层的梯度，需要先计算该层之前的所有层的输出结果，也就是需要重复进行前向传播过程。在前向传播过程中，每一层的神经元接收上一层的输出，并根据权重和偏置进行加权求和，并经过激活函数进行非线性变换，得到该层的输出结果。

a和b分别是两个向量，a·b表示它们的点积，||a||和||b||分别表示它们的范数（即向量的长度）。用途1：神经网络的前向传播中，将输入特征向量与权重矩阵进行点积操作，可以得到每个神经元的加权输入，然后通过激活函数进行非线性变换，从而得到神经网络的输出。

作用：对数据进行预处理，是数据科学常使用的库。支持多种数据格式读取： CSV/Excel/SQL/JSON/HTML数据清洗：处理缺失值、重复值、异常值、数据转换合并数据过滤：灵活的索引、切片、筛选功能，方便选择和过滤数据数据计算：数据分组统计、汇总、聚合、合并、连接数据可视化：结合matplotlib可以绘制折线图、柱状图、散点图等多种图表。

感知：能看到什么物体推理：基于看到的东西来想象未来会发生什么事情知识：通过看到的现象来形成自己的知识规划：当拥有一些知识时，可以进行长远规划人工智能最热的方向：1）自然语言处理：早期用符号学，现在可以用概率模型，也可以用机器学习2）计算机视觉：图片像素难以用符号学来表达，所以大部分使用概率模型或机器学习3）深度学习图片分类：ImageNet物体检测和分割：检测是指某个物体在哪个区域，分割是指每个像素点属于哪个物体样式迁移：滤镜，样式与内容进行合成人脸合成文生图。

标准运算：直接使用算术运算符+、-、*、/对具有相同形状的张量进行操作，它将对每个位置的元素分别使用运算符进行操作。形状不同的张量进行算术运算时，会自动扩展为相同的形状后再进行运算。求和：对张量中所有元素求和，产生一个单元素张量。等值判断：等于每个位置的元素分别进行等值判断。两个张量：a 为3行1列，b为1行2列。