小趴菜日记-CSDN博客

原创 llama-factory学习个人记录

1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。

2024-05-22 14:21:06 1828

原创 json和jsonl文件格式个人记录

是一个流式处理 JSON 数据的 Python 库，它可以有效地处理大型 JSONL 文件。下面是一个示例代码，展示了如何使用 ijson 库来处理 JSONL 文件。

2024-05-21 14:48:08 391

原创 P-tuning个人记录

P-Tuning就是提示调优（Prompt Tuning），主要思想是固定预训练模型的参数，然后在模型的输入端添加可学习的"prompt"（提示）进行调整。这种方法的优点是计算成本低，因为只需要更新少量的参数。它不改变模型，而是通过对提示的优化，让模型输出最佳的结果。

2024-05-18 00:40:16 1108

原创报错CUDA Setup failed despite GPU being available

报错:

2024-05-17 18:44:17 949

原创基于llama2_7B模型进行增量预训练

由于使用的底座模型是llama，官方公布的是PyTorch版本，为了方便后续使用，需转换为HuggingFace格式 .pth->.bin。

2024-05-17 17:19:00 1053

原创报错FileNotFoundError: [Errno 2] No such file or directory: ‘/home/bingxing2/ailab/scxlab0069/.local/l

报错:FileNotFoundError: [Errno 2] No such file or directory: '/home/bingxing2/ailab/scxlab0069/.local/lib/python3.9/site-packages/deepspeed/utils/zero_to_fp32.py'解决办法:降低deepspeed版本。

2024-05-17 17:17:54 150

原创报错AttributeError: ‘Textbox‘ object has no attribute ‘style‘

原因:安装的第三方库gradio版本太高，降低版本即可。当前安装的4.31.3版本降低到3.50.0。

2024-05-17 17:00:05 308

原创报错assert not torch.allclose(first_weight_old, first_weight)

原因:peft版本问题。

2024-05-17 16:06:40 220

原创报错RuntimeError: Error building extension ‘fused_adam‘或者undefined symbol: _ZNSt15__exception_ptr13exc

报错RuntimeError: Error building extension 'fused_adam'或者undefined symbol: _ZNSt15__exception_ptr13exception_ptr9_M_addrefEv。卸载已经安装的DeepSpeed,重新安装(也就是换一个新版本)

2024-05-17 02:41:44 428

原创报错:RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx( handle, opa, op

报错:RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)`

2024-05-17 00:45:23 299

原创报错importerror: cannot import name ‘llamaforcausallm‘ from ‘transformers‘

【代码】报错importerror: cannot import name ‘llamaforcausallm‘ from ‘transformers‘

2024-05-17 00:21:47 561

原创报错Downgrade the protobuf package to 3.20.x or lower.

报错:RuntimeError: Failed to import transformers.trainer_utils because of the following error (look up to see its traceback):解决办法:

2024-05-16 23:04:42 587

原创报错ImportError: libnccl.so.2: cannot open shared object file: No such file or directory

原因:没安装nccl库。

2024-05-16 22:41:13 536

原创常用显卡算力对比

TFLOPS：指的是每秒钟可以执行的浮点运算次数，它代表着计算机在处理科学计算、机器学习等任务时的处理能力。TFLOPS的单位是万亿次每秒（trillion floating point operations per second)。一般是指单精度性能FP32。TOPS：指的是每秒钟可以执行的整数运算次数，它代表着计算机在处理图像、音频等任务时的处理能力。TOPS的单位是万亿次每秒（trillion operations per second）。一般是指整数运算能力。

2024-05-16 22:09:32 1698

原创报错ImportError: cannot import name ‘import_path‘ from ‘_pytest.doctest‘

【代码】报错ImportError: cannot import name ‘import_path‘ from ‘_pytest.doctest‘

2024-05-16 16:54:48 174

原创强化学习的优化策略PPO和DPO

DPO(直接偏好优化)简化了RLHF流程。它的工作原理是创建人类偏好对的数据集，每个偏好对都包含一个提示和两种可能的完成方式——一种是首选，一种是不受欢迎。然后对LLM进行微调，以最大限度地提高生成首选完成的可能性，并最大限度地减少生成不受欢迎的完成的可能性。与传统的微调方法相比，DPO 绕过了建模奖励函数这一步，设计一种包含正负样本对比的损失函数,通过直接在偏好数据上优化模型来提高性能。(即不训练奖励模型，语言模型直接做偏好优化)

2024-05-15 23:31:26 1751

原创报错ImportError: cannot import name ‘TikTokenConverter‘ from ‘transformers.convert_slow_tokenizer‘

报错：ImportError: cannot import name 'TikTokenConverter' from 'transformers.convert_slow_tokenizer' (/home/bingxing2/ailab/scxlab0069/.conda/envs/test_llm/lib/python3.9/site-packages/transformers/convert_slow_tokenizer.py)解决办法：重新安装transformers。

2024-05-14 17:00:23 467 1

原创报错：fatal: cannot create directory at ‘examples/fp4_finetuning‘: No space left on device

报错：fatal: cannot create directory at 'examples/fp4_finetuning': No space left on device。发现是/tmp目录存储满了清理一下，安装tmp清理工具,删除超过24小时未被访问的/tmp下的临时文件。看一下是哪个分区满了。

2024-05-14 16:36:46 121

原创报错ImportError: compilers/gcc/9.3.0/lib64/libstdc++.so.6: version `GLIBCXX_3.4.30‘ not found (require

解决办法：换一个新一点的且与当前cuda版本对应的gcc。ps：因为cuda11.6最多支持gcc11。换成 cuda11.6 gcc11.3.0。原本：cuda11.6 gcc9.3.0。原因：gcc动态库版本过老。

2024-05-14 00:27:58 123

原创 pytorch cuda gcc对应版本记录

cuda与pytorchcuda与gcc

2024-05-14 00:16:10 420

原创登录到计算节点看显卡是否正常

3.如果有显卡仍输出0可能是torch安装完后没有source里面的env.sh模块。1.ssh连接到计算节点。

2024-05-13 21:43:52 134 1

原创 In Context Learning（ICL）个人记录

In Context Learning（ICL）的关键思想是从类比中学习。上图给出了一个描述语言模型如何使用 ICL 进行决策的例子。首先，ICL 需要一些示例来形成一个演示上下文。这些示例通常是用自然语言模板编写的。然后 ICL 将查询的问题（即你需要预测标签的 input）和一个上下文演示（一些相关的 cases）连接在一起，形成带有提示的输入prompt，并将其输入到语言模型中进行预测。其中I表示任务。值得注意的是，与需要使用反向梯度更新模型参数的训练阶段的监督学习不同，。

2024-05-13 17:07:37 987

原创基于gpt2配置和架构训练base模型

2.编写训练脚本trainer.py。4.编写推理脚本chat.py。1.收集或制造数据集。

2024-05-12 19:34:49 256

原创从百度网盘中下载文件到linux服务器

3.认证成功后，在网盘中的“我的应用数据”目录下看到bypy目录，将要传输的数据放入bypy文件夹中。复制授权码，在linux下输入授权码。2.认证（第一次连接需要认证）

2024-05-12 19:24:57 258

原创开源数据集和开源模型个人记录

7万条繁体中文的reward数据集（翻译自rm-static）16GB中英文无监督、平行语料。

2024-05-12 16:55:50 486

原创微调大模型学习记录

一般来说, 垂直领域的现状就是大家积累很多垂域数据,从现实出发,第一步可以先做增量训练.所以会把模型分成3个阶段:(1)、第一阶段:(Continue PreTraining)增量预训练，在海量领域文档数据（领域知识）上二次预训练base模型，以注入领域知识.(2)、第二阶段: SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图。

2024-05-12 15:41:02 776

原创使用xtuner微调InternLM-Chat-7B

Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式。生成一个internlm_chat_7b_qlora_oasst1_e3_copy.py配置文件，修改配置文件。4.下载internlm_chat_7b模型，下载到ft-oasst1文件夹中。internlm_chat_7b_qlora_oasst1_e3含义。2. 创建一个ft-oasst1 数据集的工作路径，进入。

2024-05-11 21:20:22 545

原创报错The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit mu

【代码】报错The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit mu。

2024-05-11 01:06:06 539 1

原创低秩适应LoRA和量化低秩适应QLoRA

1. Freeze 方法，即参数冻结，对原始模型部分参数进行冻结操作；2. P-Tuning 方法，参考 ChatGLM 官方代码，是针对于大模型的 soft-prompt 方法；3. LoRA 方法，的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练；4. AdaLoRA 方法是对 LoRA 的一种改进，并根据重要性评分动态分配参数预算给权重矩阵；

2024-05-11 00:39:02 679

原创 CoT个人记录

通过向大语言模型展示一些少量的例子(Few-shot )，在样例中解释推理过程，大语言模型在回答时也会模拟人类思考推理的过程生成中间的推理步骤,，再得到答案。这种推理的解释往往会引导出更准确的结果。论文还进行了一些论文尝试了few-shot部分只加入公式并不能显著提升效果。论文尝试了先给出答案再进行推理的prompt模板，发现效果显著变差。说明few-shot-COT只是激活模型给出推理，推理过程本身才是模型效果提升的核心。

2024-05-10 17:23:33 939

原创 InternLM-Chat-7B部署调用-个人记录

克隆好项目后需要进入/InternLM/web_demo.py中，将其中的29和33行的模型替换为本地模型路径。例如/root/model/Shanghai_AI_Laboratory/internlm-chat-7b。（魔塔社区）中的snapshot_download函数下载模型，第一个参数为模型名称，参数。，需要邀请码，暂时不写了，搞到了再接着写。2.web demo运行。3.将端口映射到本地。

2024-05-10 01:07:31 337 2

原创 CNOCR和PaddleOCR提取pdf中文字-个人记录

这些包通常是系统软件包管理器（如 yum）提供的，而不是通过 Python 包管理器（如 pip）安装的。它们是用于开发和编译过程中的依赖库，不是 Python 包。安装不了，目前paddlepaddle不支持arm64架构。3.将pdf转为图片，在对图片提取文字。4.安装Tesseract-OCR。5.配置Tesseract环境变量。2.安装paddlepaddle。2.安装依赖的Leptonica库。1.安装PaddleOCR。1.安装PaddleOCR。1.安装PyMuPDF。6.测试安装是否成功。

2024-05-09 12:01:46 729

空空如也

空空如也