2301_77549977的博客

在 Python 中，变量名前加一个下划线（例如 _running_mean）通常是一种约定，表示该变量是“受保护的”或“内部使用的”。这是一种编码习惯，用于提示其他开发者该变量不应该被直接访问或修改，而是应该通过类的方法进行操作。

问题：如果data的形状是 n×d（样本数 × 特征维度），centers的形状是 k×d(聚类中心数×特征维度)data[:,None]扩充1维 形状变成 n×1×d那为什么做减法 形状变成了 n×k×d？，虽然 centers没有显式地扩展维度，但通过 data[:, None]的操作，数据的维度已经被调整，使得广播机制可以正常工作。广播NumPy 的广播机制允许不同形状的数组在一起进行算术运算。广播的规则如下：（维度数不同）（固定维度 比长度 长度有1）

在 Python 中，使用 None作为索引可以在数组中插入一个新的维度。具体来说，会在原始数组的第二个维度位置插入一个新的维度。假设我们有一个二维数组，其形状为。通过操作，我们在第二个维度位置插入一个新的维度，使得数组的形状变为。假设我们有一个二维数组，其形状为(5, 3)，即。现在，我们使用在第二个维度位置插入一个新的维度。

【代码】面试手撕代码 layerNorm 逐行注释。

这行代码的作用是计算输入张量 x在指定维度上的平方均值，并保持原始维度的形状。

这行代码的作用是计算输入张量 x在指定维度上的均值，并保持原始维度的形状。

在 Python 中，负数索引用于从序列（如列表、元组或张量）的末尾开始计数。-1-2例子：假设我们有一个列表listlst[-1]50lst[-2]40lst[-3]30在 Layer Normalization 的实现中，负数索引用于计算需要进行归一化的维度索引。假设 self.normalized_shape是[3, 4]，则 len(self.normalized_shape)是 2。因此，range(len(self.normalized_shape))生成[0, 1]。

图是多模态特征的，比如网易云音乐，一首歌既有音频特征又有评论、专辑、歌手、MV视频，所以每一个节点有多模态特征。图片 从上到下 从左到右进行卷积；文本 从前到后处理；图是没有固定的锚点的；处理表格数据、序列数据、节点和连接数据，数据之间带有关联；在以前的机器学习中，每一个数据样本是彼此无关的，iid假设。图是动态变化的，比如微信好友，淘宝推荐。图：节点 & 连接；很多数据都能用图表示：计算机网络。用节点和连接变成一张图。发散：复杂网络、知识图谱。图 是深度学习的新蓝海。

这段代码使用 PyTorch 创建一个包含随机整数的张量。是批量大小（batch size），例如 bs = 4。，那么这段代码会生成一个形状为。的张量，其中包含 4 个在。例如，如果 bs = 4。

是 PyTorch 中用于重复张量的函数。它可以沿指定的维度重复张量的元素。以下是一个示例代码，展示 tile。的张量，其中每个批次都包含原始的 weight_hh。这样，w_hh_batch。指定各维度分别重复多少次。

【代码】手撕代码 绝对位置编码。

笔记连接: https://pan.baidu.com/s/1_Sm7ptEiJtTTq3vQWgOTNg?pwd=2rei 提取码: 2rei。

Transformer篇。

【代码】面试题 手撕k-means。

【代码】手撕 多头注意力机制。

【代码】代码 Vision Transformer原理实现。

这样也有一个问题，就是输入特征图的通道之间没有交互，所以这种情况下，在后面的卷积过程中，会有通道之间的随机混合或者用1×1的卷积；5×5的input feature，3×3的kernel，输出3×3的特征图，对着取到input region有9个，我们把9个region拉直成行向量，9个行向量，与 kernel拉成的列向量 进行矩阵相乘，得到输出的列向量，把输出的列向量，reshape成输出特征图的尺寸，完成卷积。1×1的卷积可以理解为对通道进行加权，对于一个通道来说，每个像素点加权是一样的；

init需要的参数是 hidden dim，通过三个线性层 得到q，k，v；init定义成员变量,全部是成员变量。输入x是一个是序列，输出每个词与每个词之间的相关性。首先自注意力机制的目的是 给定Q=K=V。首先 常见的深度学习库 无脑导入。

输入一个数组，给定一个和，找到数组中的两个数，使得两个数的和等于给定的target，返回对应的索引；解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1]。定义一个字典 ，遍历数组nums，可以得到数字和对应的索引，判断如果。输入：nums = [2,7,11,15], target = 9。

Traceback (most recent call last): File "/root/DAVE-master/main.py", line 715, in <module> evaluate(args) File "/root/miniconda3/lib/python3.10/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs