LLMs 其他 Trick

最新推荐文章于 2025-05-13 20:33:05 发布
最新推荐文章于 2025-05-13 20:33:05 发布
阅读量395 收藏 1
点赞数 12
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hh051020/article/details/147922483
版权

huggingface 下载不了模型问题？

  • from modelscope.hub.snapshot_download import snapshot_download
    model_dir = snapshot_download('damo/nlp_xlmr_named-entity-recognition_viet- ecommerce-title', cache_dir='path/to/local/dir', revision='v1.0.1')
    方法一：在modelscope 下载你想要的模型
  • 方法二：大语言模型下载站

HuggingFace.co资源下载网站，为AI开发者提供模型镜像加速服务，通过下载器可以达到10M/s的下载速度，解 决大模型下载时间长、经常断线、需要反复重试等问题，实现镜像加速、断点续传、无人值守下载，

七、大模型（LLMs）推理面
weixin_51988935的博客
10-29 157
本文精心汇总了多家顶尖互联网公司在大模型大模型（LLMs）推理面考核中的核心考点，并针对这些考点提供了详尽的解答。• 十、在使用LLM（Lamma2模型）对同一组prompt重复进行5次 greedy 预测时，为什么针对相同的prompt，• 六、有哪些省内存的大语言模型训练/微调/推理方法？• 一、为什么大模型推理时显存涨的那么多还一直占着？• 二、大模型在gpu和cpu上推理速度如何？• 十五、大模型推理时，显存中有那几部分数据？• 十四、如何让大模型处理更长的文本？
三、大模型（LLMs）微调面
weixin_51988935的博客
10-28 378
• 34 在预训练阶段，若模型训练文本时不包含标记，而在后续预测阶段却添加了标记；或者相反，训练阶段加入了。• 6 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？• 25 微调大模型时，如果 batch size 设置太小 会出现什么问题？• 26 微调大模型时，如果 batch size 设置太大 会出现什么问题？• 5 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？• 15 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
【LLM】FuseLLM：大模型融合trick-知识融合LLMs
python1234_的博客
08-29 764
传统的模型融合方法分为集成的方法和权重合并的方法，这两种方法在以往的NLP的比赛中非常常见，是一种提分手段。然而，上述两种方法都需要预训练或者微调相应的模型。在大模型场景下，对每个源模型都进行初始化成本太高，为了减少初始化源LLM的成本，使集成后的模型受益于所有源LLMs的优势。因此，本文介绍了一种知识融合的方法用来进行大模型的融合。
LLMs 入门实战系列
2401_85782600的博客
07-12 1482
尽管通过扩展数据集获得了性能提升，但 BLIP 的研究表明，对于视觉语言学习来说，有噪声的网络文本是次优的。对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。【LLMs 入门实战 】 BBT-FinCUGE-Applications 学习与实战。【LLMs 入门实战 —— 十九】 聚宝盆(Cornucopia) 模型学习与实战。【LLMs 入门实战 —— 二十二】 BLIP 模型学习与实战。
LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-23 8558
​ LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读) 目录 相关文章 《DeepSeek-V3 Technical Report》翻译与解读 Abstract 1、Introduction 2、Architecture 3、Infrastructures
大模型（LLMs）评测面
hh051020的博客
04-14 666
长文本理解：提出一些需要处理长文本的问题，例如：提供一篇文章，让模型总结出文章的要点，或者请模型创作一个故事或一篇文章，让其有一个完整的情节，并且不要出现明显的逻辑矛盾或故事结构上的错误。长文本生成：请模型创作一个故事或一篇文章，让其有一个完整的情节，并且不要出现明显的逻辑矛盾或故事结构上的错误。语言生成能力：让模型生成一段有关特定主题的文章或故事，评估其生成的文本在结构、逻辑和语法等方面的质量。用的数据集没有被看到过。多样性：提出一个问题，让模型给出多个不同的答案或解决方案，测试模型的创造力和多样性。
大语言模型（LLMs）训练技巧
weixin_43520816的博客
03-31 996
用额外的通讯开销换取显存。对于模型计算的中间结果（activation，优化器状态等），暂时放到内存（CPU）中，计算需要的时候再放回显存（GPU）中，需要占用传输带宽；用额外的计算换取显存。即在前向传播时，删除一些暂时用不到的中间激活结果以降低内存，在反向传播时，再根据需要临时进行前向计算恢复；量化通过减少参数表示的位数来减小模型存储量和计算量，通常会带来一定的模型精度的损失；Scatter Reduce，每个服务器将参数分为N份，在相邻服务器传递，传递N-1次（Scatter），每个服务器将得到的参数累
【论文精读】QLORA: Efficient Finetuning of Quantized LLMs
HERODING23的博客
07-06 5155
一篇面向低资源大语言模型微调场景的文章，基于LoRA实现，能够将65B的大模型微调在单张48G的专业卡上，并且性能和全量微调相当，在业界引发了不小的轰动。本文将对这篇文章进行细致深入的剖析，来看看究竟运用了什么技术能够如此大幅度降低显存的需求。Paper:code:本文提出了QLORA，一种高效的微调方法，可以极大降低显存的开销，能够做到在48G的显存上微调65B参数模型，同时保留完整的16位精度。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到LoRA中。
LLMs之o3：《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-26 2140
​ LLMs之：《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 目录 《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 Abstract 1 Introduction 6 Discussion 《Deliberative Alignment: Reasoning
LLMs之Tool之ChatGLM-3：解读ChatGLM3如何实现“工具调用”这一炸天功能(分别从ChatGLM3的源代码和训练样本数据视角)—system prompt(用户定义工具)→user
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-07 870
​ LLMs之Tool之ChatGLM3：解读ChatGLM3如何实现“工具调用”这一炸天功能(分别从ChatGLM3的源代码和训练样本数据视角)—system prompt(用户定义工具)→user prompt(用户提出问题)→assistant response(即LLM去识别是否使用工具【基于提供的工具和询问的问题】+然后判断要调用的工具函数及其入参【此处通过特殊的微调样本有加强LLM的这一能力】,包括metadata【函数名】/content【固定写死的tool_call()函数】)+system
【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
AI天才研究院
03-11 1592
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
Recraft.ai：赋能专业设计师的 AI 创意引擎
weixin_44903776的博客
05-12 896
Recraft.ai 是一款专为专业设计师打造的 AI 创意引擎，集图像生成、编辑、矢量化、协作于一体，旨在提升设计效率与创意表达。其核心功能包括 AI 图像生成器、矢量生成器、照片编辑器等，支持风格一致性与品牌化，适用于 Logo 设计、图标制作、广告素材等多个场景。Recraft.ai 强调“设计师主导”理念，提供完全掌控、高效协作与简化工作流程的优势，帮助设计师节省时间并提升作品质量。目前提供免费试用，适合设计师与设计爱好者探索 AI 创意的无限可能。
【datawhale组队学习】coze-ai-assistant TASK01
最新发布
m0_52024881的博客
05-13 245
通过扣子开发的 AI 应用有明确的输入和输出，可以根据既定的业务逻辑和流程完成一系列简单或复杂的任务，例如 AI 搜索、翻译工具、饮食记录等。工作流具备了： 大量的重复性任务 （如内容创作、编辑、发布）和 固定的业务流程 （如策划、创作、审核、发布）。的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。教程：Coze / 扣子（飞书文档）10. 教程：Coze / 扣子。4万字教程-COZE/扣子与智能体入门（飞书文档）
第二十一天打卡
nbbsn的博客
05-11 551
这个结果略微差于聚类后的效果，但和一开始考虑所有特征的预测效果差不多，这个降维算法也比较成功。首先我们要对训练集和测试集进行处理，将非数字部分进行编码，并且将空缺值进行填充。- 输出每个模型的最佳参数和评估指标（准确率、精确率、召回率和F1分数）- 对每个模型分别使用网格搜索和贝叶斯优化进行超参数调优。这里可以看出预测结果大大提高了，这个调整工程是成功的。- 使用三个典型模型：随机森林、支持向量机和逻辑回归。- 在验证集上评估每个模型的性能。
Baklib智能云平台加速企业数据治理
weixin_51374429的博客
05-13 740
Baklib智能云平台通过一站式数字资源管理、知识库构建及多场景内容系统搭建，实现企业图文音视频全资产统一存储与智能分类，结合AI驱动的高效数据预处理能力，显著提升知识沉淀效率和治理规范性，助力客户服务、内部协作与数字资产价值释放。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1345
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
5月12日day23打卡
2503_91003121的博客
05-12 705
5月12日打卡day23@浙大疏锦行
Python 数据分析与可视化：开启数据洞察之旅（5/10）
小相探索IT世界
05-09 1987
在当今数字化时代，数据就像一座蕴藏无限价值的宝藏，等待着我们去挖掘和探索。而 Python，作为数据科学领域的明星语言，凭借其丰富的库和强大的功能，成为了开启这座宝藏的关键钥匙，在数据分析和可视化领域占据着举足轻重的地位。在进行 Python 数据分析与可视化的旅程中，选择合适的开发工具至关重要。它们就像是工匠手中的精良工具，能够极大地提升我们的工作效率和开发体验。下面将为大家介绍两款在 Python 数据分析领域广泛使用的开发工具：Jupyter Notebook 和 VSCode。
llms
03-08
### LLMS 技术介绍 大型语言模型（LLMs）代表了一类先进的人工智能算法，这些模型通过处理大量文本数据来学习自然语言的理解与生成能力。这类技术并非万能解决方案，而应被视作一种能够与其他工具协同工作的强大资源[^1]。 #### 特征描述 - **多阶段增强**：某些版本的 LLMs 如 ChatGLM3 实现了分层优化策略，从而提高了性能表现。 - **多模态理解**：除了传统的基于文本的任务外，部分改进型 LLMs 还可以理解和处理图像、音频等多种形式的数据输入。 - **Agent Tuning 技术**：这项特性允许开发者根据特定应用场景微调预训练好的基础模型，使其更贴合实际需求。 ### 应用实例展示 为了帮助用户更好地利用 LLMs 的潜力，在实践中往往需要借助精心设计的提示语句——即 Prompt Engineering 来引导模型产出期望的结果[^3]。下面给出一段简单的 Python 代码片段用于演示如何向支持对话功能的服务发送请求： ```python import requests def send_chat_request(messages, api_key): url = 'https://api.example.com/v1/chat/completions' headers = { 'Authorization': f'Bearer {api_key}', 'Content-Type': 'application/json', } data = {'messages': messages} response = requests.post(url, json=data, headers=headers) return response.json() if __name__ == '__main__': user_message = [{'role': 'user', 'content': '你好'}] bot_reply = send_chat_request(user_message, '<your_api_key>') print(bot_reply['choices'][0]['message']['content']) ``` 此段脚本展示了怎样构建并提交一次包含用户消息的对象给到具备聊天功能的大规模语言模型API端点，并获取其回复内容[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI Echoes

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值