图解LLM落地时那些坑-01-Token被薅

置顶 已于 2024-09-03 14:12:10 修改
阅读量402 收藏
点赞数 5
分类专栏： AI-大模型的落地之道 文章标签： ai aigc AIGC midjourney stable diffusion LLM RAG embedding
于 2024-09-03 12:49:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifetragedy/article/details/141858495
版权

全部使用Midjourney绘成，绘制魔法放可以自取

魔咒1

The Death Star explodes in Star Wars, with five rebel planes flying by below. --v 6.1 --ar 1:1

魔咒2

In Star Wars, Emperor Palpatine is displayed via hologram on the right, while on the left, Darth Vader, wearing a black helmet, kneels on one leg and looks at the Emperor's hologram. --v 6.1 --ar 1:1

魔咒3

 In Star Wars, Black Lord Darth Vader's two eyes shed blue tears. --v 6.1 --ar 1:1 --weird 461

TGITCIC
关注
专栏目录
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
### LLM-as-a-Judge与MT-Bench及Chatbot Arena的研究概述 #### 一、引言 随着大型语言模型（Large Language Model, LLM）的迅速发展，基于LLM的聊天助手（即“聊天机器人”）正在以前所未有的速度涌现。这些聊天...
【数世咨询】LLM驱动数字安全2024-AI安全系列报告.pdf
08-16
【数世咨询】LLM驱动数字安全2024-AI安全系列报告.pdf【数世咨询】LLM驱动数字安全2024-AI安全系列报告.pdf【数世咨询】LLM驱动数字安全2024-AI安全系列报告.pdf【数世咨询】LLM驱动数字安全2024-AI安全系列报告.pdf...
大模型（LLM）的token学习记录-I
penriver的博客
02-27 2554
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是 LLM 进行处理的最小单元。根据所使用的特定标记化【Tokenization】方案，token可以表示单词、单词的一部分，甚至只表示字符。采用的方案由模型的类型和大小决定token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。模型理解这些token之间的统计关系，并擅长做token的接龙token化是将输入和输出文本分割成可以由LLM AI模型处理的较小单元的过程。
LLM - Generate With KV-Cache 图解与实践 By GPT-2
BITDDD小栈
05-13 1542
LLM Generate With KV-Cache 图解与实践 By GPT-2
LLM - ChatGLM-6B Lora 微调与推理
BITDDD小栈
07-20 3417
ChatGLM-6B Lora 微调与推理流程详解。
从零开始创建基于LLM的Agent——modelscope-agent
q2544048170的博客
12-15 4570
这是一个专为科研人员设计的论文润色助手，能够以大模型的专业知识来补充用户输入的文字，修正用户语言的语病，逻辑错误，并提供中英双语的论文版本。qwen agent的官方demo由gradio实现，因此我们在本地或者云端部署agent时，也应该了解一些gradio的简单知识:radio是一个用于简化机器学习模型部署的Python库。它的目标是让用户可以轻松地构建交互性的界面，用于与机器学习模型进行交互，而无需深入了解前端和部署的复杂性。使用实例!在这个例子中，表示输入是文本，表示输出也是文本,fn。
LLM分布式训练 --- Megatron-LM
热门推荐
摩登都市天空---专栏
08-26 1万+
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
1. Tensorrt-llm 基础
yangyu222的专栏
06-27 1280
修改/usr/local/lib/python3.10/dist-packages/tensorrt_llm/quantization/quantize.py。其中exclusive 为不想量化的decode block。转换huggince face 模型为checkpoint。同样exclusive_modules 为不想量化的层。注意： cuda 版本不必和宿主机cuda 版本一致。可以看出放弃最后几层的量化是对模型精度有略微提升的。注意：截至2024年6月建议安装0.10.0。
MLC-LLM框架的安卓应用部署实战
horsetaill的博客
03-17 4024
MLC-LLM框架的安卓应用实战，版本0.1.0
LLM - Qwen-72B LoRA 训练与推理实战
BITDDD小栈
02-05 6842
LLM Qwen-72B 简介与 LoRA 微调、推理。
【LLM多模态】Qwen-VL模型架构和训练流程
发现问题，并解决问题，批判性思维
04-25 6079
Qwen-VL模型的整体网络架构包括以下三个组件： 大型语言模型（Large Language Model）： - 作用：作为Qwen-VL模型的基础组件，这个部分采用了一个大型语言模型，其初始权重来自于预训练的Qwen-7B模型。 - 来源：Qwen-VL的大型语言模型使用了来自Qwen-7B模型的预训练权重。 视觉编码器（Visual Encoder）： - 作用：视觉编码器采用了Vision Transformer（ViT）架构，用于处理输入图像并生成一组图像特征。在训练和推理过程中，将输入图像调
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于NVIDIA GPU...
【AIGC】Hugging Face 推出一站式搜索开源成果的平台：Paper Central
最新发布
wxl01235的博客
10-06 477
Hugging Face 推出一个全面、便捷的学术平台：Paper Central ，该平台可以帮助研究人员和开发者快速获取并使用开源资源。它将arXiv、Hugging Face 论文页、模型、数据集、Space、GitHub 和会议论文集等多个来源的开源学术资源整合在了一起。通过将这些来源聚合到一个地方，Paper Central 大大简化了查找研究成果的流程，用户无需逐个访问不同平台。用户可以通过该平台轻松搜索即可获取开源成果，大大简化了查找研究成果的流程，用户无需逐个访问不同平台。
【AIGC】2022-NIPS-视频扩散模型
weixin_42475026的博客
10-04 1033
生成时间连贯的高保真视频是生成模型研究的一个重要里程碑。我们提出了一种视频生成扩散模型，并取得了非常有希望的初步结果，朝着这一里程碑迈进了一步。我们的模型是标准图像扩散架构的自然延伸，它能够从图像和视频数据进行联合训练，我们发现这可以减少小批量梯度的方差并加快优化速度。为了生成长视频和高分辨率视频，我们引入了一种新的条件采样技术，用于空间和时间视频扩展，其性能优于以前提出的方法。我们展示了大型文本条件视频生成任务的第一批结果，以及视频预测和无条件视频生成的既定基准的最新结果。
开发者在AIGC浪潮中的定位与策略
月空的博客
10-01 517
近年来，市场上涌现了许多AIGC工具，例如阿里的通义灵码、腾讯云的AI代码助手、CodeGeeX以及亚马逊的Amazon CodeWhisperer等。然而，从个人体验来看，虽然这些工具确实在一定程度上提高了开发效率，但也存在不少问题，如不能理解复杂的业务逻辑。但是现在的AIGC还不能单纯的看成是新型的“计算器”，它的应用更加广泛，存在的风险也更大，比如通过AIGC生成语音进行诈骗等。人工智能领域发展迅速，新的技术和方法层出不穷。程序员需要持续学习和自我提升，保持对新技术的关注，及时掌握和应用新的知识。
[云服务器18] 搭建AIGC APP？AI绘图不神秘！
2301_76197567的博客
10-04 492
好的这是我的第18篇blog了！开心max！那么，这次我们来做些什么呢……（思考中）此时的我拿起了手机，打开了某APP，然后赫然出现的广告：现在是AI的时代，为什么不来学习AIGC呢？诶，有了！那就讲讲AIGC吧！了解过AIGC的人都知道，这是一个非常NB的AI工具，可以根据一段话生成一幅超好看的画，可以是任何元素，可以是任何风格！于是乎，我决定了，今天，我们就来搭建一个属于自己的AIGC网站！
跨模型技术新方案：LLM-Base+LLM-X+Alpaca集成与Zero-Finetune优化
资源摘要信息:"该文档描述了一种创新的跨模型技术方案，其核心是通过多Lora权值集成切换和Zero-Finetune零微调增强技术，以实现LLM-Base和LLM-X模型以及Alpaca模型的有效集成。在这一方案中，LLM-Base模型以Chatglm...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TGITCIC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值