d0ublεU0x00-CSDN博客

原创 task06大模型量化与训练

地址：微调量化篇第3章 https://datawhalechina.github.io/hello-agents/#/./chapter4/%E7%AC%AC%E5%9B%9B%E7%AB%A0%20%E6%99%BA%E8%83%BD%E4%BD%93%E7%BB%8F%E5%85%B8%E8%8C%83%E5%BC%8F%E6%9E%84%E5%BB%BA。

2026-01-28 23:17:31 617

本文摘要：文章介绍了基于人类反馈的强化学习（RLHF）这一新的训练范式。RLHF旨在让大语言模型超越简单的模仿学习，真正理解人类价值观，使其输出更符合人类偏好。模型对齐分为三个阶段：基础模型训练、有监督指令微调（SFT）和RLHF。其中SFT使用（prompt,response）格式数据提升指令遵循能力，而RLHF则通过奖励模型模拟人类偏好，利用强化学习优化模型输出。RLHF的核心步骤包括：通过SFT获得初始策略模型、训练奖励模型，最后用强化学习优化策略模型。（150字）

2026-01-26 23:44:02 369

原创 task01注意力机制与transformer

摘要：词嵌入技术将词元转换为稠密向量后，如何有效融合序列信息成为关键。全连接网络可进行维度变换和特征提取，但无法保留语序。RNN/LSTM通过记忆机制捕获序列信息，LSTM的门控机制进一步优化了信息取舍。自编码器用于数据重构，而Seq2Seq架构则扩展为编码器-解码器结构，实现序列转换任务。编码器将输入压缩为上下文向量，解码器基于该向量自回归生成目标序列。这种架构适用于机器翻译等输入输出不对齐的任务，通过双向编码和单向解码实现语义转换。

2026-01-24 19:39:15 544

原创 task04 参数高效微调

本文介绍了参数高效微调(PEFT)技术的背景与发展。随着预训练模型参数规模扩大，全量微调面临计算成本高、存储压力大等问题。研究者提出PEFT技术，仅调整少量参数或添加小型模块来适应下游任务。重点分析了两种PEFT方法：Adapter Tuning通过在Transformer层插入小型适配器模块实现微调；Prefix Tuning则通过添加可训练的前缀激活值来引导模型输出。这些方法显著降低了微调成本，同时保持了模型性能。PEFT技术为大模型应用提供了高效可行的微调方案。

2026-01-24 19:30:50 644

原创 task03深入大模型架构

Llama2是Meta AI推出的开源大语言模型，采用Decoder-Only的Transformer架构。其核心由多个相同的Transformer Block堆叠而成，每个Block包含预归一化（RMSNorm）、注意力子系统（GQA）和前馈网络（SwiGLU）。模型采用旋转位置编码（RoPE）和残差连接，通过预归一化提升训练稳定性，简化了传统归一化过程。输入经过嵌入层转换为词向量，依次通过多个Transformer层后，最终经过RMSNorm和线性层输出预测结果。这些改进使Llama2在性能和稳定性上优

2026-01-20 23:51:37 69

原创预训练模型

摘要：BERT是基于Transformer编码器的双向预训练语言模型，其核心优势在于预测时能获取完整上下文信息。它采用"预训练+微调"范式：先在大量数据上预训练通用语言知识，再通过添加任务相关输出层迁移到特定任务。这种双向特性使其更擅长语言理解任务，与GPT等单向生成模型形成对比。BERT既可作为词向量工具，也能作为强大的预训练基础模型应用于下游任务。

2026-01-18 00:08:15 310

原创注意力机制与transformer

摘要：文章探讨了从词向量序列提取文本特征的几种方法。词袋模型简单求和会丢失语序信息，全连接网络(FCN)能进行维度变换和特征提取，但需注意处理顺序。RNN通过记忆机制捕获序列信息，但存在梯度问题，LSTM引入门控机制改善信息选择。RNN/LSTM适用于序列分类、标注和生成任务，而更复杂的序列转换任务(如机器翻译)需要编码器-解码器架构。这些方法逐步解决了从词向量到文本特征表示的关键问题。

2026-01-14 23:50:44 669

原创【WSL】WSL+VSCode+Latex

【WSL】WSL+vscode+Latex

2025-12-02 12:27:57 121

原创【生存技能】ubuntu 24.04 如何pip install

在Ubuntu系统中，直接使用pip安装Python包到系统环境时可能会遇到权限问题，因为系统出于稳定性考虑禁止了这种操作。为了解决这个问题，可以创建一个虚拟环境来安装所需的Python库

2025-05-10 16:26:05 1461

原创【transformer】datawhale-12/24学习-手搓transformer-chapter1_introduction

全称Sequence to Sequence模型，字面意思，输入一个序列，输出一个序列。输入和输出的序列长度是可变的。有的模型需要填充（padding）到特定长度e.g. 输入长度为5，输出长度为4；输入了5个汉字，输出了4个英文单词图片来源：https://github.com/Spr1ng7/fun-transformer/raw/main/docs/chapter1/images/image%EF%BC%881%EF%BC%89.PNG。

2024-12-10 03:03:42 1031

原创【FastAPI】2-

第2.4节-08-Cookie参数。第2.5节-09-Header参数。第2.2节-06-额外参数信息。第2.1节-05-请求体参数。第2.3节-07-嵌套模型。

2024-11-16 02:12:13 186

原创【机器学习基础】西瓜书阅读笔记task01

机器学习：研究如何通过计算的手段，利用经验来改善系统自身的性能计算机系统中，经验通常以数据形式存在。机器学习研究的主要内容：计算机从数据中产生模型的算法，即“学习算法”把经验（经验数据）提供给这个算法，算法就可以基于数据产生模型，在面对新情况时，模型就会给我们提供相应的判断。机器学习就是研究这种“学习算法”的学问。模型就指从数据中学得的结果。

2024-11-14 00:37:32 655

原创【FastAPI】1-url参数

然后使用你定义的枚举类（ModelName）创建一个带有类型标注的路径参数async def get_model(model_name: ModelName)的有效值。如果你有一个接收路径参数的路径操作，但你希望预先设定可能的有效参数值，则可以使用标准的 Python Enum 类型。在这种情况下，参数的名称为 file_path，结尾部分的 :path 说明该参数应匹配任意的路径。安全和幂等的意义在于：当操作没有达到预期的目标时，我们可以不停的重试，而不会对资源产生副作用。DELET E：删除数据。

2024-11-13 01:51:01 506

原创 python调用C语言程序（通过自己构建的动态链接库）

将其用gcc编译成.dll文件和.so文件，默认生成在当前目录。这里只演示生成dll文件的。这里先演示在windows环境下调用自己编译的dll库，这里我用ctypes实现。现在再写一个调用这个dll库的python代码test.py。ctypts是python自带的库，无需额外安装。先写一个有被调用函数的C源文件test.c。可以自己体会一下ctypes的使用方法。可以发现执行了C语言函数foo的语句。执行这个python程序。

2024-10-16 19:11:37 380 1

原创【STM32CubeIDE】应用内无法登录获取固件包的解决方案

STM32CubeIDE无法登录，you don/t have permission to ...

2024-07-23 05:36:36 5491 3

原创【RISC-V】如何使用release的risc-v gnu toolchain

为了能在其他位置也使用这个工具链交叉编译，还需要把可执行文件的路径加入PATH。首先去release页面中获取相应的压缩包。将压缩包解压到想解压的位置，这里我选择了。PATH的路径在~/.bashrc里更改。参数-v输出每个被解压的文件。

2024-03-29 01:48:32 772

原创【nodejs ubuntu】nodejs版本过老的更新方法

使用apt方法安装的node.js版本过于老了，以至于我没法用npm下载hexo。

2024-03-27 20:46:14 654

原创【Ubuntu 22.04 LTS】安装vmware提示没有兼容的gcc

这里要求的是12.3.0版本，我查看了自己的gcc版本是上面的11.4.0。在ubuntu 22.04 上运行wmware时显示找不到兼容的gcc。点击install下载相应模块，下载完成后就会出现vm的运行界面。三条命令执行完成之后，再次运行vm，没有提示gcc的问题。在ask ubuntu上找到了。

2024-03-20 04:35:46 2409

原创【Ubuntu】在.bashrc文件中误设置环境变量补救方法

解决方法就是在输入vim之后提示的vim路径下用vim打开该文件，然后改回来。这里是vim也不在PATH中了，因为。

2024-02-13 21:55:32 1082

原创【JLU】校园网linux客户端运行方法

终于给这输入法整好了，就像上面图里那样执行命令就行。写一个开机自启的脚本会更方便，每次都运行也挺烦的。

2024-01-28 16:27:25 540

原创【Ubuntu 22.04.3 LTS】apt-get下载安装有关问题可能原因及解决方法

【代码】【Ubuntu 22.04.3 LTS】

2024-01-28 14:40:30 1721

原创在windows上打开QQ文件下载目录的脚本

每次找qq下载的文件都很麻烦，于是直接写了个bat放在桌面上，需要的时候双击运行即可打开对应的资源管理器。先存一下，带目录选择的多个目录选择器后面再说。

2024-01-24 16:59:13 573

原创 vscode配置web开发环境(WampServer)

找到可执行文件的路径这一项，点左边的齿轮复制setting ID，再点下面的在settings.json文件中编辑，可能会出现安装问题，这里说只有图上这些VC++包都安装了才能继续安装，进入。下载安装完成后复制php.exe文件的路径，这里先随便选了一个php版本。安装完成后再次运行wampserver的安装程序可以正常下载安装了。打开vscode的Settings，搜索关键词。，集成了php，MySQL，Apache。这里直接去下载了集成的服务器组件。下载exe文件安装相关的包。ctrl+s保存配置。

2024-01-19 00:59:38 1445

原创【生存技能】git操作

应该是不会遇到中文，这里就没去配置解决gitbash乱码问题，需要的话可以去B站黑马程序员git相关的专栏。如果创建成功，可以看到目录下出现了一个.git目录（windows需要设置。我这里是win64，下载了相应的直接安装版本。在git bash或powershell执行。，初始化当前目录成为git仓库。打开git bash。

2024-01-15 05:31:06 814

原创【记录】重装系统后的软件安装

考完研重装了系统，安装软件乱七八糟，用到什么装什么。在这里记录一套标准操作，备用。一个个装还是很麻烦，我为什么不直接写个脚本直接下载安装包呢？奥，原来是我太菜了还不会写脚本啊！先记着吧，写了脚本再补充。软件可能不全，因为我也不知道还有什么没装。

2024-01-15 03:42:00 964

原创【密码学】python密码学库pycryptodome

记录了一本几乎是10年前的书（python绝技–用python成为顶级黑客）中过时的内容。

2024-01-12 05:23:30 1072

原创 VM中kali虚拟机创建docker部署WebGoat

在wm中kali虚拟机通过docker部署WebGoat本地练习环境，并将容器的端口映射到主机的端口，以通过kali主机浏览器访问服务，使用kali系统完成实验

2023-04-29 19:03:20 2054 1

原创【docker】docker创建Mysql容器

参考的是这篇，先简单记录一下，有时间了再回来写。

2023-03-22 23:45:59 191

原创《Linux0.11源码趣读》学习笔记day7

最终的结果是，把内存地址 0x10000 处开始往后一直到 0x90000 的内容，统统复制到内存的最开始的 0 位置。int 0x10执行完中断处理后返回时，会在dx寄存器中存储好光标的位置，高八位行号，低八位列号。这里需要注意，前面学过这个内存地址是偏移地址，最终的物理地址是要加上ds寄存器里存储的段基址。现在程序跳转到了0x90200这个位置开始执行，这个位置的代码就位于setup.s的开头。这里又出现的int指令时触发BIOS提供的中断服务，就是调用显示服务相关的中断处理程序。

2023-01-28 23:58:22 2721

原创《Linux0.11源码趣读》学习笔记day6

到上次记录，整个操作系统的全部代码就已经从硬盘加载到内存中了，然后这些代码又通过jmpi跳转到0x90200处，即硬盘第二个扇区开始处的内容这些内容就是第二个操作系统源代码文件setup.s不过现在先来看一下操作系统的编译过程。

2023-01-27 23:21:05 1507

原创《Linux0.11源码趣读》学习笔记day5

即之前已经设置了如何访问数据的数据段，如何访问代码的代码段以及如何访问栈的栈顶指针，就是初步做了一次内存规划。这样，整个操作系统的全部代码都从硬盘加载到内存中了，然后这些代码又通过jmpi 0,0x9020跳转到0x90200处，即从硬盘的第二个扇区开始的内容。之后真正进入操作系统内核后，中断处理程序需要写操作系统的程序员重新编写（操作系统代码中各个模块注册自己的中断处理程序）从硬盘的第2个扇区开始，把数据加载到内存0x90200处，共加载了4个扇区，就像下面图中的这样。逻辑上相当于执行了一个函数。

2023-01-20 23:57:20 1287

空空如也

空空如也