手把手实战：开源工具 Easy Dataset 三步生成数据集

于 2025-05-08 11:19:22 发布
阅读量1.5k 收藏 15
点赞数 22
分类专栏： 技术干货 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46880696/article/details/147784014
版权

本文将以一个特定领域的数据集——《网络安全法规》为例，教你准备微调的数据集。

《网络安全法规》数据集的原始资料来源于网络公开资源，涵盖了具有高度专业性的法律条文内容。

这类信息因其特殊的专业属性，在通用大模型预训练阶段通常不会被纳入训练材料之中。

因此，在面对需要利用大模型支持的专业应用场景时，对现有通用模型进行针对性微调便显得尤为必要。而这一过程的第一步便是精心准备用于微调的数据集。

如需技术合作或业务咨询，请关注公众号：九章云极AlayaNeW
或者请移步个人vx： alayanew

当前，一种较为简便快捷地创建此类数据集的方法是通过向大模型发送提示词，由大模型生成QA对形式的数据。然而，这种方法存在明显局限性：

  1. 生成的问题与答案往往过于简化；
  2. 受限于模型自身能力，所生成的数据集可能会出现截断现象。例如，当我们尝试使用 DeepSeek 上传一份原始文档并通过提示词让模型生成QA数据集时，可以观察到上述缺陷的存在：即使重复操作，基于相同输入文件生成的结果依旧保持一致且质量有限。

除了当前讨论的方法外，其他传统数据收集与处理方式也存在若干局限性：

  • 人工标注

这一过程不仅成本高昂且耗时较长，通常需要专业人员的参与，从而显著增加了项目的总体开销。

  • 特定领域数据获取

在某些专业性强的领域，如医疗健康或法律服务中，由于严格的隐私保护法规限制，公开可用的数据集相对稀缺，获取难度较大。

  • 人工智能生成的数据

尽管AI生成数据的速度较快，但其质量往往不够稳定，可能存在准确性不足或细节缺失的问题。

为克服上述挑战，诸如Easy Dataset等工具应运而生。

在实战演示 Easy Dataset 的具体操作之前，先对其主要特性做一个简要介绍：

  • 智能文档解析

将Markdown文件转换为结构化知识，便于管理。

  • 自动化问题生成

从文本中提取关键信息并创建相关问题，准确度高。

  • 自动答案生成

利用大型语言模型技术生成自然流畅的答案。

  • 灵活编辑

允许用户随时调整问题或答案，并直观地重新组织内容。

  • 多样化输出

支持Alpaca、ShareGPT及JSON/JSONL等多种格式。

  • 广泛兼容

适用于大多数基于OpenAI架构的语言模型。

  • 用户友好界面

简洁易用，适合非技术人员。

  • 可配置系统提示

通过设定指导语句来优化回答。

接下来，我们就进入Easy Dataset 的实战环节：

0****1

实战前准备：Easy Dataset 的环境部署

1）安装本地客户端

  • 下载地址：
    https://github.com/ConardLi/easy-dataset/releases/tag/1.2.3

2）使用 NPM 安装

  • 克隆仓库

git clone https://github.com/ConardLi/easy-dataset.gitcd easy-dataset

  • 安装依赖
npm install
  • 启动开发服务器

npm run buildnpm run start

  • 打开浏览器并访问 <font style="color:rgb(31, 35, 40);">http://localhost:1717</font>

使用 Dockerfile 构建

  • 克隆仓库

git clone https://github.com/ConardLi/easy-dataset.gitcd easy-dataset

  • 构建 Docker 镜像
docker build -t easy-dataset .
  • 运行容器
docker run -d -p 1717:1717 -v {YOUR_LOCAL_DB_PATH}:/app/local-db --name easy-dataset easy-dataset
  • 打开浏览器并访问 <font style="color:rgb(31, 35, 40);">http://localhost:1717</font>

注意：本文将使用第1种方式演示构建全过程。

02

实战操作：关键三步生成高质量数据集

下图是实践过程的具体步骤，整体流程划分为以下三个关键步骤：

拆分文本块：将原始文本分割成若干小段落或片段。

生成问题：针对每个文本片段设计并生成相关联的问题。

构建数据集：为上述生成后的问题，精心准备相应的解答。

1）准备原始文件

  • 准备 Markdown 格式数据

Easy Dataset 目前仅支持 Markdown 格式，所以在此之前需要把行业数据转换成 MD 文件。这里选择的是PDF格式，推荐大家使用 MinerU 这款工具进行转换生成 MD 文件。

  • 创建项目“网络安全法规”，本文以生成法律法规的领域数据为例。如图所示。

  • 模型配置

项目创建完成后，进行模型配置，这一步可以根据各自情况配置，配置也非常简单，选择“项目设置” -> “模型配置”，如下图。

目前 Alaya NeW API 服务正在火热销售中，其体验版套餐没有 Token使用限制，用户只需支付 180 元，即可在 30 天内畅享该服务。

如果有需要可以到官网 https://www.alayanew.com/product/deepseek ****进行充值体验。

2）拆分文本

选择“文献处理”，上传准备好的行业数据MD文件。可以全部选择拆分后的文本，然后批量生成问题，如下图。

这里生成问题需要等待一段时间：

3）问题管理

选择“问题管理”，勾选生成的问题，选择“批量构造数据集”，过程仍需等待一段时间。

4）构建数据集

选择“导出数据集”，下载构建好的网络安全行业数据。

导出数据集时设置系统提示词“你是一位法律专家，擅长网络安全法”。

导出之后我们打开文件，可以看到导出的数据集案例。

至此，我们已利用 Easy Dataset 工具完成了“网络安全领域数据集” 的处理与生成。

虽然演示过程相对基础，但其过程充分展现了该工具的高度实用性：仅需执行三项核心操作，即可生成适用于微调的数据集。

博客
手把手实战：快速构建合同智能审查Agent
04-21 1417
配置“模型供应商”，选择 “OpenAI-API-compatible”，输入申请到的 “API Key” 和 “URL” 后点击“保存”，如下图示例完成 “AlayaNew/DeepSeek-R1。至此，我们完成了合同智能审核Agent的构建，我们也可以在Dify中把这个智能体发布为API服务，这样企业其它应用如OA就可以通过API集成，在原合同流程中实现智能审核工作。该节点“输入变量”中，配置从“开始”节点中获取上传的文件，输出变量就是合同的内容，配置如下图。接下来我们开始创建智能体。
博客
企业应用大模型报告：如何应对变革，构建专属“我的AI”
04-18 1481
在大模型时代，生态协作能力的重要性远超以往。针对高价值业务场景，建议和具有专业技能能力的供应商合作，采用 “开源大模型底座 + 企业私有数据” 进行领域微调，构建专属场景大模型，实现业务效率进一步提升 ，并通过 API 接口将模型能力深度耦合至核心业务系统，革新业务效率和客户体验。这一专属 AI 能力的核心要义，在于将前沿的大模型技术与企业独一无二的基因，即企业特有的数据资源、业务流程以及个性化的业务需求，深度且紧密地结合在一起，从而助力企业塑造独特的竞争优势，使其在激烈的市场竞争中脱颖而出。
博客
一站式解决Deepseek微调三大痛点：数据集、GPU资源、微调手册与源码
03-31 1066
从上述微调结果可以明显看出，经过微调的模型在解决用户疑问方面表现更为出色，能够为用户提供更加精准和有效的指导。本实践成功地将先进的大模型技术与Aladdin组件相结合，有效应对了具体的行业挑战，展示了前沿技术在实际场景中的应用实例，实现了从理论到实践的重要跨越。通过这种方式，我们不仅为用户提供了处理复杂问题的新思路，还展示了如何利用这些先进技术解决实际问题，为各行各业带来了创新解决方案。
博客
大模型开发利器Aladdin加持，4小时亲手复刻DeepSeek Aha Moment！
02-20 891
Countdown 任务是一种类似"24点"的任务，玩家会拿到一组数字，使用"加减乘除"这四种基本语法运算法则，构造一个等于目标数字的等式，并且每个数字只能使用一次，例如：玩家拿到[2,12,25,56]这四个数字，目标是等式结果为55.1.整个训练过程大概需要4个小时，在./grpo_implement/logs/下有log，查看countdown_zero_rl_aha_moment_dist.log文件，可以看到训练的进度。在这两个文件中搜索"突然“，可以找到训练过程中出现的Aha moment。
博客
免费体验，一键部署！Alaya NeW应用市场正式上线DeepSeek系列模型
02-12 686
openwebui：只允许修改env列表中的OPENAI_API_BASE_URLS属性的值，DeepSeek-R1和DeepSeek-V3不要修改，DeepSeek其他模型，要跟modelName保持一致。借助 Alaya NeW算力云服务 提供的强大GPU资源，您可以轻松实现DeepSeek模型在云端的推理服务部署，并根据实际需求灵活使用算力，为技术创新与科研探索提供高效支持！在部署DeepSeek应用时，不同的模型需要修改的values.yaml文件内容(下图的右侧可编辑部分)不同。
博客
手把手实战：如何用DeepSeek进行股票分析？
05-21 664
同时，我们具备大模型全栈技术能力，可协助您完成从模型训练、微调、部署、调优的全过程，助力构建安全、高效的AI系统。配置“模型供应商”，选择 “OpenAI-API-compatible”，输入申请到的 “API Key” 和 “URL” 后点击“保存”，如下图示例完成 “AlayaNew/DeepSeek-R1” LLM的配置。通过精心设计的提示词，可以激活模型中与特定任务相关的知识，使其在无需大规模微调的情况下，直接应用于下游任务。，任何技术都有局限性，审慎的态度和科学的投资框架始终是风险管理的核心。
博客
扎克伯格与纳德拉：开源模型蒸馏工厂如何重塑产品生产逻辑
05-19 860
这将意味着模型不再是“买来的”，而是“炼出来的”，开源模型的最大优势不再是参数量和GPU数量，而在可定制能力，只有少数人能玩的大模型将从“神坛”走向“普罗大众”，如果说基模型是油田，那么“蒸馏工厂”就是炼油厂，蒸馏出来的各种各样的模型就是千家万户的储油桶。2.释放协同潜力：实现一个老师模型到多个蒸馏模型之间的"一对多"以及多个老师模型蒸馏至一个模型的"多对一"的关系，这些蒸馏模型可与GitHub Copilot等工具或其他工作流组合，通过 MCP 服务器调用其他 AI Agent，释放大小模型协同的潜力。
博客
将大模型幻觉降低90%，一个神奇的写作Agent
05-15 991
关注问题本质，关注如何解决问题，关注如何创造价值选择通过分层设计，实现高效内容生产。每一层都针对内容创作流程中的关键环节进行优化，形成完整的智能化解决方案。1.1 需求分析层作为系统的首要环节，采用NLP技术对用户输入进行深度解析。通过意图识别自动区分写作类型（如技术文档、营销文案、社交媒体内容等），并结合用户画像分析目标受众特征（年龄层、专业背景等）。系统内置需求模板，包含多类常见写作场景的标准化需求描述，确保输出精准匹配核心需求。
博客
vLLM vs SGLang：大模型推理框架，谁更适合你的需求？
05-13 351
总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。性能上，SGLang 在顺序请求和并发请求场景中始终优于 vLLM。在并发负载下，差异尤其明显，SGLang 保持稳定吞吐量的能力凸显了其卓越的可扩展性和鲁棒性。这些发现表明，对于需要高并发和高效处理大量请求的应用程序来说，SGLang 是更好的选择。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。
博客
摩尔定律已死？一文带你看透摩尔定律如何穿越周期
05-12 768
Ollama是一个旨在简化在本地运行大型语言模型（LLM） 的轻量级推理工具，强调隐私保护、高性能和本地控制权。Xinference 支持多种推理引擎，Xinference需要单独安装支持的推理引擎，当满足模型格式为pytorch、gptq或者awq等条件时，Xinference 会自动选择 vLLM 作为引擎来达到更高的吞吐量。此外，Xinference 也支持 SGLang 后端，可根据具体的模型和应用需求，灵活选择使用 SGLang 进行推理，以充分发挥其在集群部署、大规模模型推理等方面的优势。
博客
别让GPU摸鱼！榨干它！
05-09 807
通过在 L2 Cache 中缓存常用数据，可以减少 GPU 与主内存之间的数据传输量，提高数据访问效率，特别是在处理大规模数据和复杂计算任务时，L2 Cache 能够显著提高 GPU 的性能和响应速度，有助于提升整个图形处理和计算过程的流畅性。由于GPU利用率只是判断是不是有SM在执行状态，不考虑在执行状态的SM的数量，类似判断一个杯子中是不是有水，有一滴水也作数，十滴水也是一样，这样就不能精确到各个SM，无法在GPU内部实现优化，这样看，GPU利用率不太准，只是从GPU层面（宏观）笼统判断。
博客
HF下载太慢？Alaya NeW的加速神器让你的模型“飞“起来！
05-09 707
Alaya NeW平台推出的DingoSpeed自托管镜像服务，旨在解决从Hugging Face下载模型和数据集速度缓慢的问题。通过本地化存储、智能分块调度和高效缓存，DingoSpeed显著提升了下载速度，优化了AI资源的全生命周期管理。用户只需设置环境变量并选择镜像站点，即可享受极速下载体验。实测数据显示，DingoSpeed在小模型和大模型下载速度上分别比传统方式快30%和100%以上，且内存占用更低、稳定性更高。DingoSpeed的核心技术包括本地镜像加速、并行分块下载和智能缓存复用，有效突破了
博客
Llama-Nemotron 超越 DeepSeek R1 成开源第一？
05-07 1029
训练过程中，数据质量与多样性至关重要。像是在图 2 展示的科学推理（GPQA Diamond）、指令遵循（IFEval）、工具调用（BFCLv2）等测试场景下，LN-Ultra 的准确率远超同类开源模型，甚至比一些需要更高硬件配置的模型表现还要出色，彰显了它强大的实力。在 Puzzle 框架去除部分注意力层后，模型中会出现连续的 FFN 块，FFN Fusion 技术会将这些连续的 FFN 块替换为更少但更宽的 FFN 层，这些层可以并行执行，从而减少了顺序步骤，提高了计算利用率，显著降低了推理延迟。
博客
谁“偷”走了你的算力
05-06 622
摘要：一提到计量计费，相信大家第一时间想到了应该是生活中的水、电、燃气、通信费用，因为这些是我们习以为常又必不可少的部分，它们都已经有国家统一的标准表计进行计量计费，但算力资源特别是云计算环境下的算力资源算力影响因子颇多，难以用单一表计进行计量，应该如何科学且公平地计量计费，让用户不担心自己花钱租的算力资源被分配给别人使用呢？本文将从技术层面围绕 GPU、CPU、存储、网络四大核心智算资源，深入探讨其计量计费方案，尝试为智算资源的供需双方提供一个公平、合理、高效的资源使用和费用结算体系的建议。
博客
除了堆GPU资源，还能如何卷出更高性能的大模型？
04-29 1014
在 Llama2-70B 模型训练中实现秒级故障检测，分钟级定位并处理故障，分钟级训练恢复，减少了因故障导致的算力浪费，保障了 GPU 在训练过程中的持续高效运行，间接提升了 MFU。自DeepSeek R1问世后，让人们认识到了，不堆GPU资源，也可以通过各种优化手段训练出优秀的大模型，这些优化手段涉及到整个大模型训练技术体系的各个层面，如通信、AI平台、训练框架、算法等，这之中很多最终是落实到提高GPU浮点计算利用率上，本文深度解析一下如何提升GPU浮点计算利用率。
博客
大模型如何应对内容安全：原理、挑战与技术路径探讨
04-28 1198
随着大语言模型（LLM）技术的广泛应用，从AI写作助手到智能客服、再到生成式内容平台（AIGC），AI 正以前所未有的速度深入人类社会的各个角落。然而，随之而来的内容安全问题也日益凸显：模型可能生成色情、暴力、歧视、谣言、政治敏感等不当内容，严重时甚至会引发法律与社会层面的风险。大模型的核心能力在于对语言的建模与生成，它并没有对“内容好坏”的本体认知。大模型的输出是概率驱动的，哪怕使用相同 Prompt，每次生成的内容也可能不同，极大增加了检测和预判的难度。
博客
大规模GPU集群：如何解决GPU掉卡的问题
04-24 788
从实践来看，这也是掉卡最容易导致的原因，它会触发GPU发生各种XID故障，需要重置后恢复，所以对制冷设备运行状态监控至关重要，要时刻监控机房动环温度数据和服务器温度传感数据，例如采用风冷方案的机房，一般机房长期温度在16℃-25℃，需设置合适的服务器告警温度，另外添加机柜挡板，优化空气流动等都是确保制冷效果有效手段。面对XID 48错误，如果后续又出现XID 63或64错误，为避免影响整个系统的运行，应先排空或隔离相关节点，等待当前任务平稳完成后，再对报错的GPU进行重置操作，尝试恢复其正常工作状态。
博客
AI推理平台哪家强
04-23 942
每个 Actor 作为模型推理的基本单元，可以将各种推理后端集成到 Actor 中，从而支持多个推理引擎和硬件。Xinference 支持多种推理引擎，Xinference需要单独安装支持的推理引擎，当满足模型格式为pytorch、gptq或者awq等条件时，Xinference 会自动选择 vLLM 作为引擎来达到更高的吞吐量。此外，Xinference 也支持 SGLang 后端，可根据具体的模型和应用需求，灵活选择使用 SGLang 进行推理，以充分发挥其在集群部署、大规模模型推理等方面的优势。
博客
一文读懂！大模型训练、微调、推理，GPU 选卡核心要点
04-22 994
近期，社群中不少小伙伴提出了想多了解一点大模型训练、微调、推理的相关知识，以及各个环节如何选择GPU，本文尝试对相关问题进行深度解析，本文介绍了大模型训练、微调、推理的基本原理及相关概念，以及它们之前的关系，大致介绍了训练、微调、推理的过程，以及主流大小GPU的相关参数，提出训练、微调、推理所采用的GPU的区别。只是后训练通常由模型提供商负责，会在出厂前进行预训练和后训练，以便把模型打造成可交付的状态，而微调这种后训练，一般由模型使用者（甲方自己的技术团队或技术厂商）进行，以便实现领域垂直大模型。
博客
3FS系列（三）：从源码到实测：3FS USRBIO静态库的编译与性能体验
04-18 845
3FS 近期仍在持续被热议，在完成前篇所述的 3FS 元数据性能详测后，我们决定对 3FS 的另一项技术创新：FUSE与USRBIO并行使用开展编译与性能体验。我们发现，3FS 兼顾了 FUSE 的易用性与原生接口 USRBIO 的高速优势，在大部分场景中直接使用 FUSE 挂载，几乎「零改动」就能把 AI 任务迁移到 3FS，而对极限性能需求，则使用 USRBIO 的零拷贝、批量异步提交机制，大幅减少系统调用与网络交互开销，这对于大规模深度学习集群而言是一个值得参考与借鉴的设计。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值