一键部署LLaMA 3 Chinese Chat，含中文训练数据集；Food2K数据集下载，含2千类别，100万张图片...

最新推荐文章于 2024-07-09 23:50:30 发布
最新推荐文章于 2024-07-09 23:50:30 发布
阅读量2.6k 收藏 16
点赞数 15
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HyperAI/article/details/139467893
版权

前段时间 Llama 3 的重磅开源让 AI 圈的众人都兴奋了一把，但它对纯中文的支持不是很好，不能灵活地根据中文提问切换至相应语言进行回答。

hyper.ai 本周上线了 Llama 3 中文版——LlaMA 3 Chinese Chat 的部署推理教程，有效解决了「中文问题英文回复」的尴尬，让对话更加自然流畅。教程已经将模型与环境部署完毕，只需打开 API 地址即可推理体验！

等不及了，我要试试🥳：

https://go.hyper.ai/i3r7D

同款中文训练数据集🤖：

https://go.hyper.ai/uJlfk

5 月 27 日-5 月 31 日，hyper.ai 官网更新速览：

* 优质公共数据集：10 个

* 优质教程精选：2 个

* 社区文章精选：4 篇

* 热门百科词条：5 条

* 6 月截稿顶会：4 个

访问官网：hyper.ai

公共数据集精选

1. Llama 3 中文化数据集

该数据集为 Llama 3 中文化数据集集合，数据已统一处理为 firefly 格式，可以配合 firefly 工具直接训练 Llama 3 中文模型。

直接使用：https://go.hyper.ai/uJlfk

2. LCCC 大型清洁汉语会话语料库

该数据集主要包含两部分：LCCC-base（680 万个对话）和 LCCC-large（1,200 万个对话）。研究团队设计了一套严格的数据过滤流程来确保该数据集中对话数据的质量，过滤后的数据集可以促进短文本对话建模的研究。

直接使用：https://go.hyper.ai/bDzEG

3. Food2K 大型食品识别数据集

Food2K 是一个大型食品识别数据集，包含 2,000 个食品类别和超过 100 万张图片。

直接使用：https://go.hyper.ai/TpfUJ

4. COYO-700M 图像-文本对数据集

COYO-700M 包含了 7.47 亿个图像文本对以及许多其他元属性，收集了 HTML 文档中许多信息丰富的替代文本及其相关图像对。

直接使用：https://go.hyper.ai/fWI1i

5. GLH-Bridge 大幅面遥感影像桥梁目标检测数据集

该数据集含有 6,000 张大幅面超高分遥感影像，人工精细标注了接近 6 万座跨越不同背景的桥梁实例，影像幅面为 2048×2048-16384×16384 像素，拥有旋转框和水平框两套目标检测标签。

直接使用：https://go.hyper.ai/cHPeb

6. MMDialog 多模态开放域多轮对话数据集

该数据集是一个大规模的多模态开放域对话数据集，包含 108 万个完整对话 session，超过 4,000 个对话主题，以及 153 万张非重复图像，每个对话 session 有平均 2.59 张图像。

直接使用：https://go.hyper.ai/iAbI2

7. 皮马印第安人糖尿病数据集

该数据集最初来自美国国家糖尿病、消化和肾脏疾病研究所，其目的是根据数据集中包含的某些诊断测量结果，诊断性地预测患者是否患有糖尿病。

直接使用：https://go.hyper.ai/XqJXe

8. LamaH-CE 中欧水文和环境科学大样本数据集

LamaH-CE 包含 859 个测量流域的径流和气象时间序列以及各种（集水区）属性。水文气象时间序列具有每日和每小时的时间分辨率，包括质量标记。所有气象和大多数径流时间序列的跨度超过 35 年。

直接使用：https://go.hyper.ai/UPZvA

9. CAMELS-GB 英国集水区属性和水文气象时间序列数据集

该数据集提供了英国 671 个集水区的水文气象时间序列和景观属性。它整理了英国国家河流流量档案中的河流流量、集水区属性和集水区边界以及一套新的气象时间序列和集水区属性。

直接使用：https://go.hyper.ai/KA29l

10. HQ-Edit 基于指令的图像编辑数据集

HQ-Edit 包含约 20 万个编辑示例，每个示例都有输入图像、输出图像以及详细的编辑说明。

直接使用：https://go.hyper.ai/xjahh

更多公共数据集，请访问：

https://hyper.ai/datasets

公共教程精选

1. 一键部署 Llama 3-Chinese-Chat-8b Demo

该教程使用的模型为首个 Llama 3 中文版，是一个面向中文和英文用户进行了指令微调的语言模型，具备角色扮演和工具使用等多种能力。只需克隆并启动该容器，直接复制生成的 API 地址，即可对模型进行推理体验。

在线运行：https://go.hyper.ai/i3r7D

2. 在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

Latte 是 2023 年 11 月开源的一种用于视频生成的创新模型，Latte 作为全世界首个开源文生视频 DiT，已经取得了很有前景的结果。该教程为 Latte 项目的效果实现 Demo。

在线运行：https://go.hyper.ai/LFfmt

💡我们还建立了 Stable Diffusion 教程交流群，欢迎小伙伴们扫码备注【SD教程】，入群探讨各类技术问题、分享应用效果~

4ada8a3df463ddee7d69eb7d7c592bc1.jpeg

B 站直播预告

Apple 将于 6 月 10 日至 14 日举办 WWDC 2024，为了帮助大家深入了解 Apple 的相关信息，超神经 B 站直播间将持续直播「Apple 专题」视频，涉及：历年 WWDC 大会、高管访谈、相关纪录片等丰富内容。届时超神经也会在视频号和 B站进行实时转播，立即预约不错过~

下表为小编为大家精选的下周直播内容预告↓↓↓

日期

时间

内容

6 月 1 日
星期一

18:00

乔布斯传

6 月 2 日

星期二

18:00

是什么让苹果成为苹果

6 月 3 日

星期三

18:00

访谈

乔布斯 vs 比尔盖茨

6 月 4 日

星期四

18:00

iPhone 首次问世

发布会

6 月 5 日

星期五

18:00

史蒂夫·乔布斯的历史

6 月 6 日

星期六

18:00

苹果如何在几乎破产时

生存下来

6 月 7 日

星期日

18:00

蒂姆·库克的历史

超神经电视台 7×24h 不间断直播，点击即可收获 AI 领域的「电子榨菜」：

http://live.bilibili.com/26483094

社区文章精选

1. 【数据集汇总】气象局首次发布训练数据目录！CAMELS 美国天文气象数据集等上线官网

上周，中国气象局首次发布了「人工智能气象大模型训练专题数据目录」，汇集了海量气象数据。该目录现已在气象局官网提供下载。此外，为了帮助大家了解和利用相关的数据资源，HyperAI超神经本周还汇总了 10 个优质的气象灾害数据集，以更好地推动相关研究的进展，开启气象研究新篇章。

获取详细干货：https://go.hyper.ai/kK87m

2. 分析训练全球 2k+ 水文站数据，中科院团队发布 ED-DLSTM，实现无监测数据地区洪水预测

中国科学院成都山地灾害与环境研究所欧阳朝军团队提出了一种基于 AI 的径流洪水预测模型 ED-DLSTM，通过编码流域静态属性和气象驱动，利用全球超 2 千个水文站数据进行模型训练，尝试解决全球范围内有监测数据流域和无监测数据流域径流预测问题。本文是该研究的详细解读和分享。

查看完整报道：https://go.hyper.ai/eG6H5

3. 脑机接口：是现代医学的外挂，更是瘫痪病人的豪赌

清华大学、浙江大学、斯坦福大学、布朗大学、约翰·霍普金斯大学等国内外高校围绕脑机接口进行了相关研究。本文从概念入手，介绍脑机接口的三种主要实现形式，国内外著名高校的具体研究案例，脑机接口存在的伦理与安全等。

查看完整报道：https://go.hyper.ai/W3pPf

4. 登天文学顶刊 MNRAS！中科院上海天文台利用 AI 发现 107 例中性碳吸收线，探测精度达 99.8%

中国科学院上海天文台研究员葛健团队，通过深度学习方法，在斯隆巡天三期释放的数据中搜寻中性碳吸收线，揭开了宇宙早期星系内冷气体云块成分的神秘面纱，发现了 107 例宇宙早期中性碳吸收线。本文是该研究的的详细解读和分享。

查看完整报道：https://go.hyper.ai/qirkz

热门百科词条精选

1. Epoch

2. 神经辐射场 NeRF

3. 缩放定理 Scaling Law

4. YOLOv10 实时端到端物体检测

5. Kolmogorov-Arnold Networks

这里汇编了数百条 AI 相关词条，让你在这里读懂「人工智能」：

https://hyper.ai/wiki

6 月截稿顶会

6 月 2 日

08:00:00

VLDB 2025

6 月 7 日

19:59:59

S&P 2025

6 月 8 日

19:59:59

ASE 2024

6 月 25 日

19:59:59

ASPLOS 2025

一站式追踪人工智能学术顶会：https://hyper.ai/events

5b00769430640726ce91de64f8d12d78.gif

以上就是本周编辑精选的全部内容，如果你有想要收录 hyper.ai 官方网站的资源，也欢迎留言或投稿告诉我们哦！

下周再见！

关于 HyperAI超神经 (hyper.ai)

HyperAI超神经 (hyper.ai) 是国内领先的人工智能及高性能计算社区，致力于成为国内数据科学领域的基础设施，为国内开发者提供丰富、优质的公共资源，截至目前已经：

* 为 1200+ 公开数据集提供国内加速下载节点

* 收录 300+ 经典及流行在线教程

* 解读 100+ AI4Science 论文案例

* 支持 500+ 相关词条查询

* 托管国内首个完整的 Apache TVM 中文文档

访问官网开启学习之旅：

https://hyper.ai/

最后推荐一个「创作者激励计划」，感兴趣的小伙伴扫码即可参与！

fa4ec0790c0bdd9f7e7bf6486362b018.png

 往期推荐 

d3a9c336917a19d8dfe8fd9545beff7f.png

7b9a869135db753a97f3acfba5b11509.png

e2a55d041ee9fbb6b88839ae77c15d76.png

c5a0e844ff88d9e2b541be293aa02301.gif

HyperAI超神经
关注
  • 15
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2
02-06
OpenCompass是一个专为法学硕士设计的评估平台，其核心特性在于它能够支持广泛的机器学习和人工智能模型，这些模型包括但不限于InternLM2、GPT-4、LLaMa2、Qwen、GLM以及Claude等。这个平台的创建旨在通过先进的技术...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在本地部署LLaMa3时，首先需要下载和安装OpenVINO SDK，然后利用Model Optimizer将LLaMa3模型转换为IR。这通常涉及以下步骤： 1. 准备模型：确保拥有LLaMa3模型的权重文件和配置文件。 2. 安装和配置OpenVINO：根据...
大模型部署-基于Java+多GPU实现LLaMA2推理部署-附项目源码-优质项目实战.zip
05-25
本文将深入探讨如何使用Java编程语言结合多GPU环境来部署LLaMA2大模型，同时提供了一个优质的实战项目源码，帮助开发者理解和实践这一技术。 首先，LLaMA2（Large Language Model with Multimodal Abilities 2）是...
论文略读： LLaMA Pro: Progressive LLaMA with Block Expansion
qq_40206371的博客
07-07 450
ACL 2024。
Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型
Baihai_IDP的博客
07-04 778
如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的表现差异，以及新一代模型相较前代的进步与不足。
基于LLaMA-Factory的微调记录
Climbman的博客
07-09 432
由于不需要考虑多轮对话，所以history可以不要，这里采用了两种数据集的组织方式，一种是只有instruction和output，把问题作为instruction，另外一种是把问题作为input，把回答问题这一要求作为instruction。微调时一般需要准备三个数据集：一个是自我认知数据集（让大模型知道自己是谁），一个是特定任务数据集（微调时需要完成的目标任务），一个是通用任务数据集（保持大模型的通用能力，防止变傻）。测试的大模型可以使用这些，注意要下载最新版，老版的模型结构不太匹配。
Llama-factory源码详细解读
weixin_43214046的博客
07-08 1003
llama_factory 源码解读
在亚马逊云科技AWS上利用SageMaker机器学习模型平台搭建生成式AI应用（附Llama大模型部署和测试代码）
最新发布
m0_66628975的博客
07-09 1829
Amazon SageMaker是一款由亚马逊云科技提供的全面模型托管服务，旨在帮助开发者和数据科学家快速、轻松地构建、训练和部署机器学习模型。SageMaker原生集成了机器行业热门的工具和框架，使用户能够专注于模型的开发和优化，而无需担心基础设施的管理。通过SageMaker，用户可以使用预构建的算法和框架，或者将自己的自定义代码带入平台进行训练。其自动化的数据处理和模型训练功能，可以大大减少模型开发的时间和复杂性。
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
ms44的专栏
07-06 1279
这一限制阻碍了最先进的 LLM 的广泛采用，将其使用限制在专门的硬件设置或基于云的环境中。在这篇博文中，我将探讨一种革命性的技术，即分层推理，该技术可以在一台普通的 4GB GPU 上执行 LLaMa 3 70B 模型。通过将这些技术与分层推理相结合，可以实现更大的内存节省，从而能够在资源受限的设备上部署更大的模型。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU。该库的抽象和优化功能简化了分层推理的过程，从而实现了无缝且高效的部署体验。
【大模型】微调实战—使用 ORPO 微调 Llama 3
yuuuuuuuk的博客
07-08 823
ORPO 是一种新颖微调（fine-tuning）技术，它将传统的监督微调（supervised fine-tuning）和偏好对齐（preference alignment）阶段合并为一个过程。这减少了训练所需的计算资源和时间。此外，实证结果表明，ORPO 在各种模型规模和基准测试（benchmarks）上优于其他对齐方法。在本文中，我们将使用 ORPO 和 TRL 库对新的 Llama 3 8B 模型进行微调。
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
dream_home8407的博客
07-04 922
LLama-Factory，大模型训练框架，支持多种模型，多种训练方式，link。
LLaMA Pro：具有块扩展的渐进式 LLaMA[论文翻译]增量预训练 扩展transformer块
AI生成式技术曾小健
07-08 386
LLaMA Pro：具有块扩展的渐进式 LLaMA https://arxiv.org/abs/2401.02415 Chengyue Wu1,2   Yukang Gan2   Yixiao Ge2 Zeyu Lu3   Jiahao Wang1   Ye Feng4   Ying Shan2   Ping Luo1 1The University of Hong Kong   2ARC Lab, Tencent PCG 3Shanghai Jiao Tong University   4Beijin
接上一篇文章，数据字典学习经验基础知识分享
07-09
关于自我学习软件工程数据字典基础知识必备干货分享
convnext-tiny-22k-224.pth模型文件
07-09
convnext-tiny-22k-224.pth模型文件
蓝桥杯介绍、心得、往年试题及相关练习
07-09
项目总结 本文详细介绍了蓝桥杯全国软件和信息技术专业人才大赛，包括其背景、参赛心得、往年试题及相关练习。通过学习和练习这些内容，参赛者可以提高自己的算法和编程能力，为蓝桥杯比赛做好充分准备。 蓝桥杯不仅是一个展示编程和算法能力的平台，也是一个提升综合素质和应对挑战的机会。通过参与比赛，参赛者可以积累宝贵的经验，与其他优秀选手交流学习，不断提高自身水平。希望本文能为准备参加蓝桥杯的选手提供有价值的参考，助力他们在比赛中取得优异成绩。
智能台灯智能台灯智能台灯智能台灯智能台灯
07-09
智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯智能台灯
大模型 llama2中文数据集
07-29
大模型 Llama2 中文数据集是使用Llama2（一个自然语言处理模型）进行训练所使用的中文语料库。这个数据集包含了大量的中文文本，覆盖了各种主题和领域，例如新闻、文学、技术、法律等。 这个数据集的目的是通过大规模的中文文本数据，对Llama2模型进行训练以提高其中文语言处理能力。通过使用这个数据集进行训练，Llama2能够更好地理解中文文本，包括词义、语法、语境和句法结构等。 Llama2模型是一个基于深度学习的模型，它使用了Transformer和深度神经网络等技术。它能够自动学习中文语言的规律和特性，并能够生成高质量的中文文本。 使用Llama2模型进行中文文本处理可以有多种应用。例如，在自然语言处理领域，Llama2可以用于中文分词、命名实体识别、情感分析以及机器翻译等任务。在语音识别和文本生成方面，Llama2也能够提供有力的支持。 总之，大模型Llama2中文数据集为我们提供了一个用于训练中文语言处理模型的宝贵资源。通过这个数据集，我们可以提高Llama2模型在中文处理任务上的性能，进一步推动中文自然语言处理的发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值