![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
陈庆之的论衡
这个作者很懒,什么都没留下…
展开
-
模型可视化-TensorBoard
*嵌入式向量可视化:**如果模型包含嵌入层(如 Word Embedding),TensorBoard 可以将高维的嵌入向量映射到低维空间,并以可视化的方式展示,帮助用户理解嵌入向量之间的关系。**模型结构可视化:**TensorBoard 可以可视化 TensorFlow 模型的计算图,展示模型中各个层之间的连接关系,以及每个层的输入输出情况。**训练过程可视化:**TensorBoard 可以显示训练过程中的损失函数、准确率、学习率等指标的变化趋势,帮助用户监控模型的训练进度。原创 2024-04-16 10:45:05 · 329 阅读 · 0 评论 -
BPE分词
构建词表: BPE算法通过统计训练语料中字符或子词的频率来构建词表。初始时,将训练语料中的字符或子词作为词表中的初始词汇。数据预处理: BPE算法首先对输入的训练语料进行预处理,将每个词按字符切分为序列,加上特殊符号(如开始符号和结束符号)。分词时,优先匹配较长的子词,当无法继续匹配时,再匹配较短的子词。合并操作: 选择最频繁出现的一对相邻字符或子词进行合并,形成一个新的字符或子词,并更新词表和频率统计。恢复原始文本: 将分词结果中的特殊符号去除,并将字符或子词连接起来,恢复为原始的文本形式。原创 2023-08-17 10:43:49 · 583 阅读 · 0 评论 -
模型训练 名词说明
训练步骤的每秒数可以作为一个性能指标,用于评估模型训练的效率和速度。较高的训练步骤每秒数通常表示模型训练速度快,而较低的数值可能意味着需要更长的时间来完成模型的训练过程。需要注意的是,训练运行时间受到多种因素的影响,包括训练数据的大小、模型的复杂度、硬件设备的性能以及优化算法的选择。要计算训练步骤的每秒数,可以通过记录每个训练步骤的起始和结束时间,并使用这些时间信息来计算平均每秒的训练步骤数。需要注意的是,训练步骤的每秒数还受到硬件设备的影响,例如CPU或GPU的性能以及数据加载和预处理的速度。原创 2023-08-14 15:49:00 · 2106 阅读 · 0 评论 -
PyTorch 单机多卡训练
以上是在 PyTorch 中进行单机多卡训练的两种方法。您可以根据自己的实际情况选择适合您的方式。在 PyTorch 中进行单机多卡训练可以使用。原创 2023-08-02 12:02:55 · 1268 阅读 · 0 评论 -
PyTorch 使用 NVLink 进行模型训练
通过这种方式,你可以利用 NVLink 连接的两个显卡同时进行训练,并获得加速性能。请注意,确保你的系统具有足够的显存来同时运行两个显卡上的模型和数据,并根据实际情况进行适当的调整。在训练循环中,对于每个子数据集和显卡,将数据分发到指定的显卡上,并进行前向传播、反向传播和梯度同步操作。接下来,将模型移动到指定的设备中,并根据显卡数量将数据集划分为多个子数据集。然后,使用不同的数据加载器将每个子数据集与相应的显卡对应起来。在示例代码中,首先指定要使用的显卡编号列表。然后,在设置设备时,通过。原创 2023-07-31 10:29:55 · 2141 阅读 · 0 评论 -
python functools.partial
的主要功能是将函数的某些参数提前绑定,从而生成一个新的函数,该新函数只需要提供未绑定参数即可进行调用。是 Python 标准库中的一个函数,它用于创建一个可调用对象,该对象可以固定部分函数参数。,您可以方便地部分应用函数参数,提高代码的灵活性和复用性。来计算 5 的平方,并将结果打印出来。以下是一个简单的示例,演示如何使用。在这个示例中,我们定义了一个。的新函数,该函数固定了参数。函数,它接受两个参数。原创 2023-07-19 12:05:26 · 1421 阅读 · 0 评论 -
python multiprocessing 处理大文件
需要注意的是,以上代码仅提供了一个基本的框架示例。具体的处理逻辑和操作需要根据实际需求进行修改和补充。另外,根据机器的性能和文件的大小,可能需要调整进程池的大小和其它参数来优化处理速度。方法并发处理每一行。最后,通过迭代获取处理后的结果,并进行进一步的操作。函数,用于处理每一行的逻辑。可以根据实际需求进行修改。函数中,我们创建了一个进程池,并使用。模块实现对大文件的多进程处理。在上述代码中,我们定义了一个。在Python中,可以使用。原创 2023-07-18 15:39:31 · 224 阅读 · 0 评论 -
Python 的 pandas 库基本用法
以上是一些基本的 pandas 操作示例,pandas 还提供了更多的功能,如合并数据、重塑数据、时间序列分析等。对于更高级的数据处理需求,可以参考官方文档或其他教程学习更多内容。Python 的 pandas 库是用于数据分析和处理的强大工具。原创 2023-07-18 14:58:37 · 133 阅读 · 0 评论