python
文章平均质量分 62
python相关
挨打且不服66
计算机博士,推荐系统
展开
-
分布式训练中的参数local_rank
local_rank是一个常用于分布式训练中的参数,用于指示当前进程的本地编号。它帮助在分布式环境中区分不同的进程。通常情况下,local_rank的值为 -1 表示不进行分布式训练,值为 0 表示第一个(主)进程,其它正数表示其它辅助进程。在分布式训练中,我们常常需要确保某些操作(例如下载模型和词汇表)只由一个进程完成,以避免重复工作和资源浪费。以下是local_rank在你的代码中,local_rank不在[-1, 0]中表示所有非主进程或非单机单卡模式的进程。原创 2024-07-23 19:29:50 · 156 阅读 · 0 评论 -
设置日志记录(logging)
这段代码用于设置日志记录(logging),以便在训练过程中能够记录和输出相关信息。具体包括设定日志格式、日志级别以及输出一些初始状态信息。原创 2024-07-23 15:40:56 · 245 阅读 · 0 评论 -
设置CUDA、GPU和分布式训练
这段代码用于设置 CUDA、GPU 和分布式训练。它会根据args的参数来确定使用的设备(CPU 或 GPU),以及是否启用分布式训练。原创 2024-07-23 15:19:40 · 305 阅读 · 0 评论 -
远程调试 Python 脚本
这段代码用于远程调试 Python 脚本,特别是通过 Visual Studio Code(VS Code)的远程调试功能。它会在指定的服务器 IP 和端口上等待调试器的连接。原创 2024-07-23 15:13:41 · 252 阅读 · 0 评论 -
随机数种子的作用
设置随机数种子(random seed)的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列,从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态,使得在相同的种子值下,随机数生成器每次调用时生成的序列是相同的。原创 2024-07-23 14:36:35 · 443 阅读 · 0 评论 -
深度学习基础代码总结
enumerate 是 Python 的一个内置函数,它允许我们在遍历一个可迭代对象(例如列表)时,同时获取当前元素的索引和元素本身。原创 2024-07-23 13:57:00 · 21 阅读 · 0 评论 -
DocRED数据集
train_distant.json:包含远程监督(distant supervision)数据,可能是未完全标注或自动标注的训练数据,用于增强模型的训练集。load_train_annotated_rel2num.json:包含标注过的训练集关系与数量的映射,可能用于统计训练集中关系的分布。load_train_annotated.json:包含标注过的训练集数据,是训练集中标注了实体和关系的数据。load_test_rel2num.json:包含测试集关系与数量的映射,可能用于统计测试集中关系的分布。原创 2024-07-22 16:02:36 · 350 阅读 · 0 评论 -
import argparse包总结
【代码】import argparse包总结。原创 2024-07-21 20:26:21 · 72 阅读 · 0 评论 -
服务器相关总结
查看conda版本查看当前conda的配置文件位置编辑配置文件,默认路径是~/condarc在channels字段添加新的镜像源,例如清华镜像显示所有的channel添加清华镜像源原创 2024-07-19 17:26:49 · 380 阅读 · 0 评论 -
深度学习与CV入门
文章目录前言历史前言历史tensorflow可以安装Tensorboard第三方库用于展示效果TensorFlow工作流程:p6-4:20使用tf.data加载数据。使用tf.data实例化读取训练数据和测试数据模型的建立与调试:使用动态图模式Eager Execution和著名的神经网络高层API框架Keras,结合可视化工具TensorBoard,简易、快速地建立和调试模型;模型的训练:支持CPU/GPU/单机多卡GPU/多机集群/TPU训练模型,充分利用海量数据和计算资源原创 2024-07-07 14:06:21 · 329 阅读 · 2 评论 -
B样条总结篇
文章目录[曲线篇:深刻理解B 样条曲线(上)](https://www.zhihu.com/tardis/sogou/art/139759835)计算机图形学bezier曲线曲面B样条曲线曲面曲线篇:深刻理解B 样条曲线(上)B样条是贝塞尔曲线的延申,贝塞尔曲线是B样条的基础, B样条可以看成很多组贝塞尔曲线的拼接。B样条的两个性质就是贝塞尔的缺点反过来:1 可以指定阶次。2 移动控制点仅仅改变曲线的部分形状,而不改变整体B样条采用解决方案是贝塞尔曲线的拼接,也就是把一条曲线变为多段贝塞尔曲线的拼原创 2024-07-07 14:05:51 · 137 阅读 · 0 评论 -
深度学习(卷积网络、循环神经网络、对抗神经网络、Tensorflow实战)
b站视频文章目录机器学习常规套路k近邻k近邻计算流程练手的的数据集:CIFAR-10k近邻算法求上边图的差异【补充】机器学习常规套路k近邻k近邻计算流程对于未知类别属性数据集中的点:计算已知类别数据集中的点与当前点的距离按照距离依次排序选取与当前点距离最小的K个点确定前K个点所在类别的出现概率返回前K个点出现频率最高的类别作为当前点预测分类。练手的的数据集:CIFAR-10k近邻算法求上边图的差异k-近邻损失函数目的是通过不断的训练,使这个值变得越来越小【补充】1原创 2024-07-07 14:05:05 · 233 阅读 · 2 评论 -
【python教程】数据分析——numpy、pandas、matplotlib
【python教程】数据分析——numpy、pandas、matplotlib文章目录什么是matplotlib安装matplotlib,画个折线什么是matplotlibmatplotlib:最流行的Python底层绘图库,主要做数据可视化图表,名字取材于MATLAB,模仿MATLAB构建安装matplotlib,画个折线直接在pytorch环境下输入:pip install matplotlib -i http://mirrors.aliyun.com/pypi/simple/ --t原创 2024-07-07 14:04:45 · 143 阅读 · 2 评论 -
计算机图形学bezier曲线曲面B样条曲线曲面
b站视频文章目录曲线曲面基本理论曲线(面)参数表示1、显示、隐式和参数表示2、显式或隐式表示存在的问题3、参数方程曲线曲面基本理论计算机图形学三大块内容:光栅图形显示、几何造型技术、真实感图形显示。光栅图形学是图形学的基础,有大量的思想和算法几何造型技术是一项研究在计算机中,如何表达物体模型形状的技术描述物体的三维模型有三种:线框模型、曲面模型和实体模型线框模型用顶点和棱边来表示物体曲面模型只描述物体的表面和表面的连接关系(拓普关系),不描述物体内部的点的属性实体模型不但有物体的外观而且也原创 2024-07-07 14:04:16 · 429 阅读 · 2 评论 -
Linux服务器使用总结-不定时更新
【代码】Linux服务器使用总结-不定时更新。原创 2024-07-07 14:03:05 · 108 阅读 · 0 评论 -
最大化互信息Maximizing Mutual Information
互信息(Mutual Information, MI)是两个随机变量 X 和 Y 之间相互依赖程度的度量,表示为 I(X;Y)。IX;IX;Y∑x∈X∑y∈YPxylogPxPyPxyP(x, y)是 X 和 Y 的联合概率分布。P(x) 和 P(y) 分别是 X 和 Y 的边缘概率分布。原创 2024-06-26 20:10:06 · 937 阅读 · 0 评论 -
多头注意力机制(Multi-Head Attention)
多头注意力机制的引入是为了增强模型的能力,使其能够从不同的角度关注输入序列的不同部分,从而捕捉更多层次的信息。其中 (i) 表示第 (i) 个头,(\mathbf{W}_i^Q, \mathbf{W}_i^K, \mathbf{W}_i^V) 是线性变换矩阵。如果有 (h) 个头,每个头的输出维度是 (d_k),则连接后的维度为 (h \times d_k = d_{model})。假设输入的维度是 (d_{model}),头的数量是 (h),每个头的维度是 (d_k = d_{model} / h)。原创 2024-06-23 20:46:13 · 599 阅读 · 0 评论 -
python中不同维度的Tensor向量为何可以直接相加——广播机制
在矩阵加法中,如果两个张量的形状不同,但其中一个张量的形状可以通过广播机制扩展到与另一个张量的形状相同,则可以进行加法操作。广播机制的本质是为了简化代码编写和提高计算效率。当我们需要将某个值或较小形状的张量应用于较大形状的张量时,广播机制非常有用。它自动处理形状不匹配的问题,使得代码更简洁、更具可读性。总结起来,广播机制是深度学习框架中非常强大的工具,允许我们在维度不同的张量之间进行算术运算,只要这些张量满足广播规则。广播机制允许在执行算术运算时自动扩展张量的形状,使其兼容。在这种情况下,广播机制将。原创 2024-06-23 20:20:58 · 366 阅读 · 0 评论 -
def __init__ python特殊方法(也称为魔法方法或双下划线方法)
这些特殊方法(也称为魔法方法或双下划线方法)是由 Python 的数据模型(data model)规定的,用于定义对象的行为。它们通常用于实现内置操作和函数的行为,如算术运算、比较操作、容器类型(如列表和字典)的行为等。原创 2024-06-23 19:17:11 · 451 阅读 · 0 评论 -
bash脚本文件windows上的和linux上格式不同问题
格式问题可以使用vim进行处理,用vim打开文件,然后输入“ :set ff”,如果输出是“ fileformat=doc”,那说明是格式问题,修改文件格式,输入“:set ff=unix”,然后保存。检查下,输入“ :set ff”,如果输出是“fileformat=unix”,则说明格式正确了,这样应该就可以正常运行了。编辑和运行的环境涉及到windows和linux,那就是文件的格式问题了,因为换行符windows和linux不一样。原创 2023-07-14 16:29:32 · 603 阅读 · 0 评论 -
知识图谱评价指标hit@n、MR
知识图谱评价指标原创 2022-11-25 17:23:48 · 2430 阅读 · 0 评论 -
深度学习代码大总结(持续更新。。。)
深度学习代码总结原创 2022-11-20 13:46:29 · 501 阅读 · 0 评论 -
实验数据可视化工具wandb教程(持续更新ing...)
wandb原创 2022-11-11 20:57:36 · 762 阅读 · 0 评论 -
with open()的使用
with open原创 2022-11-10 20:32:31 · 495 阅读 · 0 评论 -
tmux用于linux服务器后台运行程序
tmux原创 2022-11-04 17:58:56 · 1500 阅读 · 0 评论 -
python中一些算法总结
一些工作学习中遇到的算法原创 2022-02-10 20:42:31 · 414 阅读 · 0 评论 -
git笔记-工作中总结
在工作中遇到的git相关操作原创 2022-02-08 20:29:54 · 120 阅读 · 0 评论 -
mayavi 交互式可视化-函数
有的代码需要搭配PyQt5函数说明Point3d() 基于Numpy数组x、y、z提供的三维点坐标,绘制点图形Plot3d() 基于1维Numpy数组x、y、z提供的三维坐标数据,绘制线图形3D绘图函数-Points3d()函数形式:points3d(x, y, z…)points3d(x, y, z, s, …)points3d(x, y, z, f, …)x,y,z表示numpy数组、列表或者其他形式的点三维坐标s表示在该坐标点处的标量值f表示通过函数f(x,y,z)返回的标量值原创 2021-12-01 18:20:52 · 2867 阅读 · 0 评论 -
torch.utils.data包详解
参考:1)pytorch实现自由的数据读取-torch.utils.data的学习、2)pytorch源码分析之torch.utils.data.Dataset类和torch.utils.data.DataLoader类、3)PyTorch源码解读之torch.utils.data.DataLoader目录:torch.utils.data主要包括以下三个类:torch.utils.data.Dataset类torch.utils.data.sampler.Sampler类torch.转载 2021-09-22 18:19:40 · 6294 阅读 · 0 评论 -
python基础大总结
PyCharm 的初始设置(知道)目标恢复 PyCharm 的初始设置第一次启动 PyCharm新建一个 Python 项目设置 PyCharm 的字体显示PyCharm 的升级以及其他PyCharm 的官方网站地址是:https://www.jetbrains.com/pycharm/01. 恢复 PyCharm 的初始设置PyCharm 的 配置信息 是保存在 用户家目录下 的 .PyCharmxxxx.x 目录下的,xxxx.x 表示当前使用的 PyCharm 的版本号如果要恢原创 2021-09-05 09:40:37 · 886 阅读 · 0 评论