- 博客(14)
- 收藏
- 关注
RSS订阅原创 internlm集成-3-week8
内存映射文件读取：使用mmap模块，该类映射大文件到内存，使得访问任何部分的成本接近恒定，而不需要将整个文件加载到内存。元数据支持：该类读取一个与数据集同名的.meta文件，该文件包含了每个数据项的起始偏移量和长度，进一步提高访问特定数据项的效率。数据项筛选：通过min_length参数，类在初始化时可以过滤掉长度低于指定阈值的数据项。线程安全：通过使用，类保证了在多线程环境下的线程安全，使得每个线程都有自己的文件句柄和内存映射。
2024-06-24 11:15:06
162
原创 internlm集成-2-week7
在当今的深度学习应用中，自动化混合精度处理已成为优化模型性能的关键技术之一。这种技术不仅可以加速模型的训练过程，还能在一定程度上减少内存消耗，使得可以在相同的硬件配置下训练更大的模型。本博客将详细介绍一个包装类，它实现了自动化的混合精度处理，并提供了对模型缓冲区进行同步的选项，确保并行训练时各个节点之间的一致性。
2024-06-24 10:58:06
239
原创 internlm集成-week7
在大规模自然语言处理（NLP）项目中，管理和优化模型训练过程是提高效率和性能的关键。本博客将深入探讨如何通过自定义训练状态和调度器实现精细控制的训练过程，以及如何有效地利用这些工具来监控和管理训练的动态。
2024-06-24 10:55:26
434
原创 llama模型集成-week6-2
主要包含三个功能：对输入的预处理、对输出的后处理以及实际的聊天生成函数。这个类是对话系统中的核心，负责处理用户输入，调用深度学习模型生成回复，并对模型的原始输出进行适当的格式化。
2024-06-24 10:47:06
294
原创 本地后端开发-week10
本示例代码包含一个Flask应用，其中定义了一个路由/query用于接收用户的POST请求。该请求包含一个问题，该问题将被发送到本地部署的模型API，API以流的形式返回答案。我们将逐步分析这个过程。
2024-06-24 09:40:13
339
原创 Qwen微调-微调设置以及微调结果-week9
在此次微调过程中，我们首先确定了微调的方法–lora以及微调的环境–采用现有的llama-factory框架。此次我们的微调使用了5W条instruction - output 结构的数据集，进行有监督的学习。从中随机抽取5W条作为基本训练数据，然后加入我们手动生成的5000份数据，组成最后的数据集。我们首先手动整理了约5000份数据，该部分数据旨在提高模型的复杂推理能力。此次使用6张V100进行训练，耗时4小时（未完全消耗显卡资源）然后先将现有数据集约100W条，如下。
2024-06-24 09:38:47
384
原创 Qwen微调-环境配置-week9
对Qwen1.5-4B的微调我采用LoRA微调然后合并模型的方式，之后将微调后的模型使用llama-factory进行部署(API,或者webui的方式均可)进入huggingface model页面找到Qwen1.5-4B模型，下载所有文件到models目录。2.下载完成后使用exe安装即可，只需注意尽量不要安装到需要赋予空间的盘即可。首先，我们应当在系统上安装好llama-factory框架。这次我采用将模型下载到本地的方式进行微调。1.下载，直接在官网下载即可。4.完成以上步骤即安装完成。
2024-06-24 09:37:44
349
原创 llama模型集成-week6
输入预处理与查询生成在发送查询到模型之前，通过方法对输入数据进行格式化和预处理。这包括构建适合模型理解的查询提示格式。使用历史记录（如果有）来构建上下文，这对于保持对话连贯性至关重要。模型响应生成通过chat方法，系统处理用户查询，构建输入，并调用模型生成方法来获取预测输出。使用特定参数（如采样温度和最大令牌数）来影响模型的响应方式和内容的详细程度。输出的后处理一旦模型生成了响应，方法会解析并清洗模型的原始输出，提取有用信息并以可读格式返回。
2024-06-24 09:37:18
369
原创 协助实体关系抽取-week3
在处理法律文书数据时，抽取特定的实体和它们之间的关系是一项挑战性的任务。本博客将详细介绍如何使用BERT预训练模型结合层叠指针网络(CasRel)从法律文书中自动识别实体和关系，为构建知识图谱奠定基础。
2024-06-24 09:32:30
331
原创 协助数据爬取与整理-week2
特别是从PDF转换成HTML的过程中引入了大量不必要的空格，且不同地区的裁判文书在格式上存在差异，给数据处理带来了一定的困难。这不仅加快了项目的推进，也帮助我们更好地理解数据的结构和质量，为后续的自动化爬取打下基础。为了便于管理和后续分析，我们将处理后的数据按年份存储在不同的文件夹中，并将每个文件夹的文书转换为JSON格式，最终合并成一个统一的数据集。函数实现，覆盖了2019至2024年的数据，每年爬取200条裁判文书。爬虫成功运行后，我们得到了大量的裁判文书数据，这些数据将用于后续的数据处理和分析阶段。
2024-06-24 09:32:00
415
原创 项目技术路线指导3-week2
如果模型具有这个属性（并且有一个名为 v_head 的属性），这意味着它使用了 LoRA 或某种类似的技术，其中 pretrained_model 可能代表的是预训练的主模型，而其他属性（如 v_head）可能是该模型上的附加头部或部分。与传统的微调不同，LoRA 不需要修改原始预训练模型的参数，而是添加一个低秩适应层，这使得微调更为参数高效。根据微调类型，代码执行不同的保存或加载逻辑。训练：在模型训练阶段，可以使用模拟量化，即在前向传播时使用低精度数值，但在反向传播和权重更新时仍使用原始的高精度数值。
2024-06-24 09:30:28
427
原创 项目技术路线指导2-week1
在实现上，MQA和MHA主要是在计算Key和Value的过程中有计算量的差异，由于训练阶段由于数据是并行的，这种差异整体不明显，而在推理阶段，在memory cache的基础上，MQA中每个step的V的计算量为 dk，而MHA中计算量则为 dkh。我们的方法采用了一种欺骗模型的思路，即根据输入序列的长度动态地调整位置编码的频率，从而更好地适应序列的变化，让模型认为其仍然在有效的长度内。在实际应用中，当输入序列的长度超过之前计算的最大长度时，我们会重新计算位置编码的频率，并生成新的位置编码。
2024-06-24 09:29:53
793
原创 项目技术路线指导1-week1
其中d_k是key向量的维度，*表示矩阵乘法，K^T表示key向量的转置，sqrt表示平方根函数，softmax是一个将实数映射到(0,1)区间并且保证所有输出之和为1的函数，它使得权重矩阵中的每个元素代表了相应的key向量对于。其中x表示输入，y表示标签，θ表示模型参数，f(x, θ)表示模型在给定输入和参数的情况下，预测的标签，L(y, f(x, θ))表示标签和预测的标签之间的损失函数。例如，同时进行实体识别和关系抽取的训练，可以帮助模型更好地理解语句中实体之间的关系，从而提高信息抽取的准确性。
2024-06-24 09:29:21
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人