樱岛の鲸-CSDN博客

原创 LLM概念梳理（二）：检索增强RAG

这篇文章对 RAG 技术进行了详细的描述。我根据自己的理解，并且按照代码思路重新进行整理。RAG 技术看似神奇，其本质是结合了检索和生成两个子任务的一种系统工程，其中每个子任务有明确的技术原理支撑。检索模型充当“图书馆员”，扫描大型数据库以获取相关信息，生成模型充当“作家”，将这些信息合成为与任务更相关的文本。它用途广泛，适用于摘要、自动化客户服务和复杂研究任务等多种领域。具体来说，首先，对知识库进行，使用加载器从知识库中获取文档并分割成文档片段，经过嵌入后得到向量数据库；然后是。

2024-08-21 20:23:26 688

原创 LLM概念梳理（一）：训练流程之PT、SFT和PO

SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销。6000字长文告诉你：大模型「训练」与「微调」概念详解带人工反馈的强化学习（rlhf）和微调（fine-tune）有什么区别？

2024-08-20 14:06:21 902

原创多轮对话（三）：Spoken Language Understanding 进展和前沿

本篇博客基于哈工大发表在IJCAI上的论文：A Survey on Spoken Language Understanding - Recent Advances and New Frontiers。

2023-01-19 14:27:35 2829 1

原创多轮对话（二）：多轮对话理解的研究进展和主流方法

本文是基于 Advances in Multi-turn Dialogue Comprehension: A Survey。主要内容是多轮对话理解的研究进展和主流方法。

2023-01-17 11:01:26 4476

原创多轮对话（一）：概述（意图识别+槽填充）

本文主要介绍对话系统的组成：NLU、DST、DP、NLG。其中主要关注NLU，其包括两个任务：意图识别和槽填充。

2023-01-14 16:15:02 10143 2

原创文本分类（LSTM+PyTorch）

PyTorch实战项目，基于LSTM的文本分类，数据集选用Kaggle上的Twitter数据集，用于评估评论是positive还是negative。

2023-01-03 12:09:21 9630 24

原创软件测试-白盒测试：逻辑覆盖

几种常用的逻辑覆盖测试方法目的：结构测试是依据被测程序的逻辑结构设计测试用例，驱动被测程序运行完成的测试。逻辑覆盖能够给出结构测试的覆盖准则，即可以结束测试的条件。

2022-05-17 21:23:23 4191

原创软件测试-白盒测试：程序插装和程序变异

方法简介程序插装方法简单地说是通过往被测程序中插入操作来实现测试目的的方法。

2022-05-17 21:22:17 1372

原创软件测试-白盒测试：符号测试与路径分析

概述：普通测试执行的是算术运算，符号测试则是执行代数运算，可以代表一类的测试。

2022-05-17 21:21:34 1507

原创软件测试-白盒测试：域测试

域测试（Domain Testing）是一种基于程序结构的测试方法。域测试的“域”指的是程序的输入空间。测试的理想结果就是检验输入空间中的每一个输入元素是否都产生正确的结果。输入空间又可分为不同的子空间，子空间的划分是由程序中分支语句中的谓词决定的，每一子空间对应一种不同的计算。

2022-04-04 22:26:36 2335

原创软件测试-白盒测试：程序结构分析

控制流、数据流、信息流

2022-04-03 20:45:03 1585 1

原创软件测试-黑盒测试：边值分析

单缺陷假设：失效极少是由两个（或多个）缺陷的同时发生引起的。对于多变量函数，取其中一个变量应用“五点法”或“七点法”，其余变量选择正常值。

2022-04-03 15:19:47 3165

原创软件测试-黑盒测试：等价类划分法

整个等价类划分法的核心就是：如何划分等价类，如何区分有效等价类和无效等价类、如何根据等价类确定测试用例。观点：如何对输入数据进行分类。（if判断里面放什么）

2022-04-03 13:09:54 4143

原创软件测试-黑盒测试：正交实验设计法

正交实验设计法目的：利用正交表来对试验进行设计，通过少数的试验替代全面试验，具备“均匀分散，整齐可比”

2022-04-02 23:07:35 2518

原创 conda安装lmdb

conda安装lmdb

2022-01-28 20:57:46 2040

原创 OrangeS一个操作系统的实现: bochs的使用

根据《OrangeS一个操作系统的实现》，我们学习bochs的使用

2022-01-07 10:59:45 254

原创 SylixOS学习(一): 输出Hello World

一、创建内核并编译File -> New -> SylixOS Base选择x86编译链选择Select All这个过程时间很长, 需要耐心等待二、Upload File右键项目 -> Properties -> Extension Device -> Add Exist Device -> OK右键项目 -> SylixOS -> Upload三、创建应用项目并编译选择刚刚创建的x86 SylixOS Base Project

2021-12-11 22:06:42 692

原创 Ubuntu下kill僵死进程

一. 安装pstree包1、在 Mac OS上 brew install pstree2、在 Fedora/Red Hat/CentOS yum -y install psmisc3、在 Ubuntu/Debian apt-get install psmisc二. 查看僵死进程 ps aux | grep 'Z'三. 清除僵死进程 kill -9 PID

2021-12-11 10:33:49 767

原创 python+flask+后端api+腾讯云轻量应用服务器+centos

1. 购买腾讯云轻量应用服务器2. 开放端口3. XShell登录服务器4. 后端代码# 实例化 Flaskapp = Flask(__name__)BASE_DIR = os.path.dirname(os.path.abspath(__file__))# 服务返回@app.route('/')def hello_world(): return "hello world"if __name__ == '__main__': app.run(host='0.0

2021-09-28 20:30:16 348

原创云服务器(centos) conda command not find

在根目录下, ls 命令查看文件, 发现有anaconda3, 说明我们的anaconda3的安装路径为: ~/anaconda3/bin其中核心就是找到安装路径sudo vim /etc/profile# 在最后一行加上: export PATH=$PATH:~/anaconda3/binsudo vim ~/.bashrc# 在最后一行加上: export PATH=$PATH:~/anaconda3/bin激活环境source ~/.bashrc查看版本conda.

2021-09-26 17:30:36 583 1

原创 PyTorch: 从零开始，用迁移学习，十步实现一个视觉项目

网上的大多数博客，都是将某个模型的原理以及如何实现，但很少有人从零开始写如何构建一个项目1. 读取图片import cv2def get_pic(file_name="00002A02.jpg"): """读取图片""" path = "../../imgdata/" + file_name # 定义图片路径 img = cv2.imread(path) # 读取图片 return img2. 处理图片torchvision.transform介绍

2021-09-19 21:41:38 336

原创交叉编译工具arm-linux-gcc的安装

1. 重启能解决很多事情为什么要将重启写在最前面呢? 因为今天安装了一早上的arm-linux-gcc, 但环境变量一直存在问题. 后来搜索了很多博客, 意外看到重启这个字眼. 试了一下, 发下成功了…2. 文件下载arm-linux-gcc-4.4.3.tar.gz3. 解压tar zxvf arm-linux-gcc-4.4.3.tar.gz4. 进入opt文件夹cd opt/FriendlyARM/5. 将toolschain拷贝到系统盘sudo cp -rv toolschai

2021-07-06 13:49:03 348

原创 Transformer：为什么要在计算机视觉领域使用Transformer？（三）

三. Transformer代码理解1. PyTorch基础语法介绍import torch.nn.functional as Ftorch.matmul(t1, t2)：矩阵乘法，可以高维。tensor.transpose(d1, d2)：矩阵转置，两个维度互换。tensor.unsqueeze(0)：增加维度，便于批量处理。tensor.clone()：充当中间变量，会保留在计算图中，参与梯度计算（回传叠加），但是一般不会保留自身梯度。tensor.detach()：与原始tensor共

2021-05-02 00:24:43 398 5

原创 Transformer：为什么要在计算机视觉领域使用Transformer？（二）

二. Transformer理解1. Transformer原理分析上图描述的是一个seq2seq的model，左侧为 Encoder block，右侧为 Decoder block。黄色圈中的部分为Multi-Head Attention，是由多个Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到 Masked)。Multi-

2021-05-01 16:11:13 539 5

原创 Transformer：为什么要在计算机视觉领域使用Transformer？（一）

一. self-attention1. 处理Sequence数据要处理一个Sequence，最常想到的就是使用RNN，它的输入是一串vector sequence，输出是另一串vector sequence。假设是一个single directional的RNN，那当输出b4时，默认a1-a4都已经看过了。RNN非常擅长于处理input是一个sequence的状况。但RNN很不容易并行化 (hard to parallel)。为此，有人提出用CNN代替RNN。橘色的三角形表示一个filter，每次

2021-04-30 18:27:37 1015

空空如也

空空如也