![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
心心喵
这个作者很懒,什么都没留下…
展开
-
[linux] megatron 报错 assert args.micro_batch_size none
把配比文件所有的换行都变成“ ”原创 2024-07-26 19:39:01 · 259 阅读 · 0 评论 -
[linux] jointbert安装环境
【代码】[linux] jointbert安装环境。原创 2024-07-25 19:06:57 · 80 阅读 · 0 评论 -
[linux] seqeval安装报错
【代码】[linux] seqeval安装报错。原创 2024-07-25 19:01:58 · 485 阅读 · 0 评论 -
[linux] python中运行shell命令,ls /data/
【代码】[linux] python中运行shell命令,ls /data/原创 2024-07-24 13:56:26 · 91 阅读 · 0 评论 -
[linux] if clip_coeff < 1.0: TypeError: ‘<‘ not supported between instances of ‘complex‘ and ‘float‘
在/Pai-Megatron-Patch/Megatron-LM-240612/megatron/core/optimizer/clip_grads.py里面if clip_coeff < 1.0: TypeError: '原创 2024-07-19 16:35:31 · 113 阅读 · 0 评论 -
[linux] ImportError: cannot import name ‘ConfigDict‘ from ‘pydantic‘ (/usr/local/lib/python3.10/dist
【代码】[linux] ImportError: cannot import name 'ConfigDict' from 'pydantic' (/usr/local/lib/python3.10/dist。原创 2024-07-11 11:33:41 · 135 阅读 · 0 评论 -
[linux] git push时需要输入user 和keyword
git clone的要是ssh链接!原创 2024-07-11 01:02:02 · 501 阅读 · 0 评论 -
[linux] bool值类型传参失败,用action
【代码】[]原创 2024-07-01 20:57:52 · 107 阅读 · 0 评论 -
[linux] RuntimeError: FlashAttention only support fp16 and bf16 data type
【代码】[linux] RuntimeError: FlashAttention only support fp16 and bf16 data type。原创 2024-06-26 15:11:16 · 291 阅读 · 0 评论 -
[linux] json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes:报错
报错:json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 27 column 5 (char 766)这个文件,查看第 27 行附近的内容,确保所有的属性名都是用双引号括起来的,并且没有其他格式问题。原创 2024-06-26 14:24:00 · 175 阅读 · 0 评论 -
[linux] 拷贝一个文件夹到指定路径,然后忽略某两个文件夹
rsync -av --exclude='a' --exclude='b' "/path/to/source/directory/" "/path/to/destination/directory"原创 2024-06-24 16:22:56 · 120 阅读 · 0 评论 -
[linux] Qwen2Tokenizer报错 transformers版本问题
发现是transformers版本问题。其实我都默认安的是最新版本。上午没问题,下午pull了新代码,就有了报错。原创 2024-06-14 23:32:55 · 219 阅读 · 0 评论 -
[linux] bash中的单引号(‘)和双引号(“)
在大多数的Unix-like系统中,使用单引号可以保证命令按照预期的方式运行,因为它将预防shell在传递给awk之前对内容进行任何处理。在当前shell环境中已经有了一个值,而这个值在使用双引号的情况下被插入到了awk命令中。通常在执行这些命令时,为了确保可靠性,建议使用单引号。)在某些情况下会有不同的效果,尤其是在涉及bash变量和特殊字符的解析时。如果在执行这段命令的环境中,shell中恰好有一个名叫。变量不存在,它将被替换为空字符串,这可能会导致awk命令行为不正常或者输出不正确。原创 2024-05-15 17:39:11 · 301 阅读 · 0 评论 -
[linux] ValueError: Tokenizer class GemmaTokenizer does not exist or is not currently imported.
ValueError: Tokenizer class GemmaTokenizer does not exist or is not currently imported."pip install -U transformers" can resolve this question, and version update form 4.37.1 to 4.38.2.https://huggingface.co/google/gemma-7b-it/discussions/9原创 2024-05-08 16:31:08 · 214 阅读 · 0 评论 -
[linux] data_parallel_size (2) is not divisible by expert_model_parallel_size
原因是 world_size=4,开了4卡。原创 2024-04-23 14:14:27 · 245 阅读 · 0 评论 -
[linux] 强制kill掉所有占用现存的进程
kill 掉所有的进程。原创 2024-04-11 22:01:11 · 203 阅读 · 0 评论 -
[linux] AttributeError: ‘Qwen2Tokenizer‘ object has no attribute ‘eod_id‘
qwen1.5是eos_token_id。qwen是eod_id。原创 2024-04-11 10:20:35 · 829 阅读 · 0 评论 -
[linux] assert num_datasets == len(weights)AssertionError
是哪个数据集没有正确读进来。需要重新tokenize。原创 2024-03-29 14:56:01 · 131 阅读 · 0 评论 -
[linux] git 远端创建新分支,在本地push代码到远端分支
本地需要重新git pull,因为要拉新建的分支到本地。本地git clone后查看远端分支。在gitlab上新建分支:略。这样就能看到远端的分支了。原创 2024-03-28 11:44:11 · 230 阅读 · 0 评论 -
[linux] AttributeError: module ‘transformer_engine‘ has no attribute ‘pytorch‘
其中这个答案并没有解决我的问题:import的flash_attn是xformers的包。。。cd到目录下 /mnt/nas/kexin/cv/Open-Sora/xformers/third_party/flash-attention/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so。原创 2024-03-27 11:08:30 · 1245 阅读 · 0 评论 -
[linux] RuntimeError: Failed to import transformers.models.clipseg.modeling_clipseg because of the f
(在这里,找到了解决方案)原创 2024-03-25 14:04:35 · 777 阅读 · 0 评论 -
[linux] Key is stored in legacy trusted.gpg keyring
另一个选择是把 /etc/apt/trusted.gpg 文件复制到 /etc/apt/trusted.gpg.d 目录。毕竟,Ubuntu 只是抱怨说它需要 /etc/apt/trusted.gpg.d 目录下的 GPG 密钥。现在,如果你运行更新,你就不会再看到 “Key is stored in legacy trusted.gpg keyring” 的警告信息。如果你觉得手动做上面的事情不舒服,那么,你可以忽略这个警告信息。复制到trusted.gpd.d 目录中(快速但不优雅的方法)原创 2024-03-20 11:22:46 · 728 阅读 · 0 评论 -
[linux] undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10Sc
【代码】[linux] undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10Sc。原创 2024-03-18 23:38:22 · 943 阅读 · 0 评论 -
[linux] GFLOPS和TFLOPS的换算
GFLOPS (Giga Floating Point Operations Per Second) 是指每秒进行的十亿次浮点运算次数,而 TFLOPS (Tera Floating Point Operations Per Second) 则是每秒进行的万亿次浮点运算次数。这些单位通常用于衡量计算机或计算设备的性能,尤其是在进行大规模科学计算、深度学习训练等需要大量浮点运算的任务中。原创 2024-03-14 17:01:55 · 1091 阅读 · 0 评论 -
[nlp] Token indices sequence length is longer than the specified maximum sequence length for this
【代码】[linux] Token indices sequence length is longer than the specified maximum sequence length for this。原创 2024-03-14 00:28:23 · 1392 阅读 · 0 评论 -
[linux] 静态图和动态图
动态图(Dynamic Graphs)和静态图(Static Graphs)通常用来描述深度学习框架中模型的构建方式。原创 2024-03-13 18:36:24 · 373 阅读 · 0 评论 -
[linux]import cv2报错:AttributeError: module ‘cv2.dnn‘ has no attribute ‘DictValue’
要想明白可执行文件里面为什么没有使用动态库的文件名,就要说明动态库里面一个神奇的属性 SONAME,如果动态库设置了SONAME,那么在静态链接阶段会将 SONAME嵌入到可执行文件中,而不会使用真实文件名称,同时后面的动态链接器。在运行时也会使用这个SONAME来搜索库。,可执行文件里面怎么嵌入的是。找不到,编译链接的时候都是。原创 2024-03-12 19:22:25 · 1067 阅读 · 0 评论 -
[linux] pip install -e . 和 pip install -e “.[train]“分别是什么意思
2. `pip install -e ".[train]"`:这个命令与 `pip install -e .` 类似,但添加了一个额外的“extras”选项 `train`。`pip install -e .` 和 `pip install -e ".[train]"` 都是 Python 包管理工具 `pip` 的安装命令,它们用于安装一个以“可编辑”模式的本地项目。`"[train]"` 表示要安装当前包的同时,也安装与 `train` 相关的额外依赖项。这通常用于开发过程中,原创 2024-03-12 11:48:31 · 702 阅读 · 0 评论 -
[linux] deepcopy报错 TypeError: cannot pickle ‘torch._C._distributed_c10d.ProcessGroup‘ object
【代码】[linux] deepcopy报错 TypeError: cannot pickle 'torch._C._distributed_c10d.ProcessGroup' object。原创 2024-03-07 22:16:33 · 623 阅读 · 0 评论 -
[linux] GPUS=${1:-4} 如果$1为空,则使用其后的默认值
这种写法通常用于允许用户在运行脚本时自定义某些参数值,如果未提供则使用默认值。的意思是:将GPUS设置为用户提供的第一个位置参数,如果未提供则默认为4,方便用户根据需要自定义GPU使用数量。2..如果没有提供位置参数,或者第一个参数为空,则GPUS会被设置为默认值4。)并且第一个参数不为空,则GPUS会被设置为该第一个参数的值(本例中为8)。是一个Bash shell中的参数扩展语法,用于设置环境变量GPUS的值。1..如果在运行脚本时提供了位置参数(如。为空或未设置,则使用其后的默认值。原创 2024-03-07 20:25:36 · 414 阅读 · 0 评论 -
[linux] matplotlib plt画training dynamics指标曲线时,标记每个点的值
plt画折线图时,plt.annotate标记折线图的点的数值。原创 2024-03-04 11:04:29 · 365 阅读 · 0 评论 -
[linux] tokens和G的换算
1B = 3G。原创 2024-02-28 15:56:54 · 414 阅读 · 0 评论 -
[linux] gitlab 服务器连接到ssh
【代码】[linux] gitlab 服务器连接到ssh。原创 2024-02-10 01:15:35 · 570 阅读 · 0 评论 -
[linux] git clone一个repo,包括它的子模块submodule
【代码】[linux] git clone一个repo,包括它的子模块submodule。原创 2024-01-12 20:44:59 · 575 阅读 · 0 评论 -
[linux]小语种在txt转jsonl的时候,输出的文本是unicode。
在print(json.dumps(d,txt转jsonl的时候,输出的文本是unicode。))的时候,一定要加。原创 2024-01-05 13:39:13 · 309 阅读 · 0 评论 -
[linux] from megatron import报错no moudle
sys.path.insert地址。原创 2024-01-04 14:23:09 · 437 阅读 · 0 评论 -
[linux] ossutil安装及环境配置
可以自定义config-file。其中ststoken可以直接回车忽略。原创 2023-12-15 15:11:31 · 440 阅读 · 0 评论 -
[linux] 解压缩xz
包,这是包含上述命令的必需软件包,在大多数Linux发行版中通常默认就已经安装。如果没有安装,可以使用。请根据你的具体情况选择合适的方法进行解压缩。如果遇到问题,请检查是否已经安装了。(对于Debian、Ubuntu等基于Debian的系统)或类似的命令来进行安装。: 如果你的.xz文件是一个归档文件(例如.tar.xz),你需要先用。解压缩为一个同名的未压缩文件。相同,只是用法略有不同。),那么这个扩展名会被保留。来提取归档文件中的所有文件。解压.xz部分,然后再用。格式的部分,然后使用。原创 2023-12-07 14:45:01 · 449 阅读 · 0 评论 -
[linux] 用命令行wget下载google drive的大文件
这样的信息,然后右键,选择复制cURL(bash)命令,这样你就复制了谷歌官方提供的下载命令了。2、单击要下载的文件,然后右键点击下载,这个时候会有提示框出现,继续点击。1、在网页上,按F12进入开发者模式,选择网络(network)。最后出现的一行,注意要由类似 download。原创 2023-12-07 13:56:10 · 2384 阅读 · 3 评论 -
[linux] git lfs install 安装lfs
如果报错,需要安装 apt-get。原创 2023-12-07 11:20:56 · 844 阅读 · 0 评论