LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等

最新推荐文章于 2024-06-24 10:07:23 发布
最新推荐文章于 2024-06-24 10:07:23 发布
阅读量1.2k 收藏 13
点赞数 27
文章标签： 人工智能 产品经理 microsoft 分布式 程序人生 llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325726/article/details/139699766
版权

前言

自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮[自然语言处理]领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！

img

常见底座模型细节概览：

底座包含模型模型参数大小训练token数训练最大长度是否可商用
ChatGLMChatGLM/2/3 Base&Chat6B1T/1.42K/32K可商用
LLaMALLaMA/2/3 Base&Chat7B/8B/13B/33B/70B1T/2T2k/4k部分可商用
BaichuanBaichuan/2 Base&Chat7B/13B1.2T/1.4T4k可商用
QwenQwen/1.5 Base&Chat7B/14B/72B/110B2.2T/3T8k/32k可商用
BLOOMBLOOM1B/7B/176B-MT1.5T2k可商用
AquilaAquila/2 Base/Chat7B/34B2k可商用
InternLMInternLM/2 Base/Chat/Code7B/20B200k可商用
MixtralBase&Chat8x7B32k可商用
YiBase&Chat6B/9B/34B3T200k可商用
DeepSeekBase&Chat1.3B/7B/33B/67B4k可商用
XVERSEBase&Chat7B/13B/65B/A4.2B2.6T/3.2T8k/16k/256k可商用

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

AI小白熊
关注
  • 27
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
题解 | #武汉工程大学第六届ACM程序设计竞赛（同步赛）#
2301_79125431的博客
04-29 825
各位，如果来了，就来了，别慌了，看命吧， 各位，如果来了，就来了，别慌了，看命吧，慌改变不了什么，还是要打工吃饭的。#铜五铁六真的存在吗？(51062)# #铜五铁六真的存在吗？# 我选铜五必存！#牛客帮帮团来啦！有问必答(50227) #牛客帮帮团来啦！有问必答# 25届双非java后端求助。请问各位大佬，现在双非后端很难进大厂，所以杭州亚信科技 26号做的笔试，有牛友收到面试通知了吗本菜鸟双非零实习零竞
高质量中文预训练模型;大模型;多模态模型;大语言模型集合.zip
08-20
+ [多模态对话大模型](#MultiModal-ChatLLM) + [大模型评估基准](#大模型评估基准) + [在线体验大模型](#在线体验大模型) + [开源模型库平台](#开源模型库平台) + [开源数据集库](#开源数据集库) + [开源中文...
大模型~合集-xx3
whaosoft143ai的博客
04-01 158
为了进一步刻画数据扩充和数据增广之间的关系，本文从图的角度来建模对比学习：将数据增强产生的每个样本视为图 上的节点，并定义同一样本产生的数据增广样本之间存在一条边，这样便在样本空间构建了一个图，称为增广图（Augmentation Graph）[2,3]。反之数据规模比较小时，则需要更强的数据增强去获得更好的图的连通性。直观上看，数据扩充和数据增广都会提升数据多样性但数据增广可能会改变图像的语义信息（下图 3），因此当数据扩充提供了足够的数据时，便可以减弱数据增广从而减小因图像语义信息的改变带来的误差。
通俗易懂的LLM（上篇）
热门推荐
qq_39439006的博客
06-06 1万+
2022年年底OpenAI发布ChatGPT，将LLM（Large Language Model）带向了一个新的高度，而2023年OpenAI继续放出大招：更强大的GPT-4问世，引爆了整个互联网圈。在这个大模型时代，作为一名NLPer，持续吸收着层出不穷的新技术，确实有些吃不消。俗话说，好记性不如烂笔头，在此记录下LLM相关技术及进展。顺便说一句，你可以说它不全面，但不能说它不通俗易懂。GPT系列模型详解【LLM系列-01】Language Models are Few-Shot Learners。
【AI视野·今日CV 计算机视觉论文速览 第282期】Wed, 3 Jan 2024
TomRen
01-07 1253
AI视野·今日CS.CV 计算机视觉论文速览 Wed, 3 Jan 2024 Totally 70 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Street Gaussians for Modeling Dynamic Urban Scenes Authors Yunzhi Yan, Haotong Lin, Chenxu Zhou, Weijie Wang, Haiyang Sun, Kun Zhan, Xianpeng Lang,
一文详解大模型微调常用方法
weixin_59191169的博客
04-22 1105
最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
Deepspeed、LLM、Medical_Dialogue、医疗大模型、预训练、微调.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型的资料不多，...
量化LLM微调工具：用于量化微调大规模语言模型(LLM)的工具
11-18
QLoRA是一个用于量化微调大规模语言模型(LLM)的工具。它提供了有效的方法和技巧来进行LLM的微调，使得模型在特定任务上能够更好地适应和表现。QLoRA为量化LLM的研究和实践提供了一个有力的工具。
LLM大模型测试训练语料数据
03-15
预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也可以容纳来自不同领域的相关文本，如法律文件、年度财务报告、医学教科书和其他特定领域的数据根据预训练语料库中涉及的领域，它们可以分为...
内积知识点小记
liujianjun1536500976的专栏
06-21 1264
对于两个向量a = [a₁, a₂,…, aₙ]和b = [b₁, b₂,…, bₙ]，它们的点积定义为：a·b = a₁b₁ + a₂b₂ + … + aₙbₙ。使用矩阵乘法，把（纵列）向量当作n×1 矩阵，点积也可以写为：a·b = (a^T) * b，这里的a^T指示矩阵a的转置。
武汉星起航：挂牌上海股权中心，资本赋能共绘跨境电商繁荣新图景
m0_74145751的博客
06-22 402
同时，公司的品牌效应也将助力其在亚马逊市场上树立更加专业的形象，提升客户的信任度和忠诚度。这一里程碑式的举措不仅彰显了公司的雄厚实力，更为其在亚马逊市场的发展带来了诸多优势。武汉星起航的成功挂牌标志着其发展的新起点，凭借资本市场的强大支持，公司必将持续强化自身实力，扩大市场影响力，为客户提供卓越服务。展望未来，武汉星起航将继续引领行业创新，为亚马逊市场的繁荣贡献源源不断的动力，共同书写跨境电商的新辉煌篇章。这不仅为公司带来了更为充足的资金流，也为其在亚马逊市场的持续投入和快速发展提供了坚实的保障。
Talk｜香港科技大学冯宸：高效自主的大尺度场景空中覆盖与重建
TechBeat人工智能社区博客
06-20 1548
本期为TechBeat人工智能社区第601期线上Talk。 北京时间6月19日(周三)20:00，香港科技大学冯宸博士生—冯宸的Talk已经准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “高效自主的大尺度场景空中覆盖与重建”，他围绕团队在利用无人机进行大尺度场景下的快速自主覆盖与重建方面取得的进展和思考展开。该工作已入选ICRA 2024 Finalist for Best Paper Award on UAV。
Midjourney绘画提示词精选：提升AI艺术创作的秘诀
weixin_42132035的博客
06-22 1771
在AI艺术创作领域，MidJourney作为一款强大的绘画生成工具，受到了越来越多艺术家和设计师的青睐。通过提供简洁但富有创意的提示词，可以帮助MidJourney生成令人惊叹的艺术作品。在本文中，我们将分享一些精选的MidJourney绘画提示词，助你在AI艺术创作中取得更好的效果。
人工智能赋能数据资产分析：借助先进的人工智能技术，优化数据处理流程，显著提升数据资产分析的准确性和效率，为企业决策提供强大支撑，推动业务快速发展
byte58的博客
06-20 1271
借助先进的人工智能技术，企业可以优化数据处理流程，显著提升数据资产分析的准确性和效率，为企业决策提供强大支撑，推动业务快速发展。“方案365”全新整理数据资产、乡村振兴规划设计、智慧文旅、智慧园区、数字乡村-智慧农业、智慧城市、数据治理、智慧应急、数字孪生、乡村振兴、智慧乡村、元宇宙、数据中台、智慧矿山、城市生命线、智慧水利、智慧校园、智慧工地、智慧农业、智慧旅游等300+行业全套解决方案。人工智能技术可以帮助企业自动化地完成数据清洗、数据整合、数据转换等任务，提高数据质量，为后续的分析工作打下坚实基础。
【diffusers极速入门（三）】生成的图像尺寸与 UNet 和 VAE 之间的关系
weixin_44212848的博客
06-20 1263
UNet 是一种卷积神经网络架构，最初设计用于生物医学图像分割。其结构类似于一个对称的 U 字形，由编码器（下采样）和解码器（上采样）组成。编码器逐步提取图像特征并缩小空间维度，解码器则将这些特征还原到原始的空间维度，同时逐步增加分辨率。对称结构：编码器和解码器对称分布。跳跃连接：直接将编码器的中间层输出传递到解码器的对应层，保留了高分辨率特征。多尺度特征提取：在不同尺度上提取特征，提升了网络对细节的捕捉能力。VAE 变分自编码器是一种生成模型，通过学习输入数据的潜在表示来生成新数据。编码器。
生命在于学习——Python人工智能原理（2.1.1）
易水哲的博客
06-19 2128
前言：人工智能基础结束了，本章开启Python的学习，之前我写过Python的学习了，不过是偏向网络安全方向的学习，这次算是完完全全的学习。
“人工智能+”带来新变化
最新发布
RongdaTEC的博客
06-24 558
麦当劳一直在开发和推广AI语音点餐技术，此前与IBM合作测试聊天机器人，提高免下车点餐服务效率，并于去年12月宣布与谷歌建立合作伙伴关系，共同部署生成性AI技术。报告指出，AIGC具有巨大潜力，能够促进生产力增长和推进公共服务的可及性，但AI技术的大范围应用也可能更加频繁地影响高技能劳动者和白领群体，这就要求劳动者提高学习和使用AI应用的能力。AI可将开放水域的近距离碰撞降低33%，航线减少偏差可帮助船舶每年减少约7075万公里的航程，平均每艘船可节省约10万美元的燃料成本，助力航运业实现减排目标。
llm 模型本地部署及微调流程
06-10
LLM（Language Learning Model）是一个基于预训练模型的自然语言处理框架，可以用于各种NLP任务，如文本分类、命名实体识别、情感分析等。下面是LLM模型的本地部署及微调流程： 1. 下载预训练模型 LLM模型基于预训练模型，可以通过Hugging Face官网下载预训练模型。选择相应的模型并下载到本地。 2. 安装LLM 可以使用pip命令安装LLM，命令如下： ``` pip install llm ``` 3. 加载预训练模型 使用LLM的load方法加载预训练模型，代码示例如下： ```python from llm.modeling import LLMForSequenceClassification model = LLMForSequenceClassification.from_pretrained('path/to/pretrained_model') ``` 4. 微调模型 使用LLM的train方法微调模型，代码示例如下： ```python import torch from llm.data import TextDataset, TextDataLoader from llm.training import LLMTrainer train_dataset = TextDataset('path/to/train_data', model.tokenizer) train_loader = TextDataLoader(train_dataset, batch_size=32, shuffle=True) optimizer = torch.optim.Adam(model.parameters(), lr=5e-5) trainer = LLMTrainer(model, optimizer) trainer.train(train_loader, epochs=3) ``` 5. 保存微调后的模型 使用LLM的save_pretrained方法保存微调后的模型，代码示例如下： ```python model.save_pretrained('path/to/fine_tuned_model') ``` 以上就是LLM模型的本地部署及微调流程。需要注意的是，在微调模型时，需要准备好训练数据，并且调整好超参数，以达到最佳的微调效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值