LLM Note 1

已于 2024-04-03 14:19:31 修改
阅读量663 收藏 9
点赞数 25
分类专栏： 鼠鼠的AI笔记 文章标签： 语音识别 人工智能
于 2024-02-20 11:53:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013302570/article/details/132621117
版权
本文探讨了Transformer中的Attention层，包括原始Attention、Multi-Head Attention（MQA）、Group Query Attention（GQA）及其优化策略。还介绍了推测解码（Sampling）、重复性问题以及解决方法如Beam Search、Contrastive Search。此外，讨论了模型的hallucination现象、嵌入重叠问题和Top K、Top P、Temperature等解码策略在提高生成质量与速度上的作用。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
EmoC001
关注
专栏目录
订阅专栏
LLM 大模型
法海你懂不?
06-13 378
https://my.oschina.net/oscpyaqxylk/blog/8727824
1 bit LLM and 1 trit LLM
maxzcl的博客
03-22 1062
In light of NV's recent addition of fp4, I'm once again curious about the bottom line for LLM, at least for inference; let's go back to this BitNet paper from Microsoft, featuring 1 bit LLM, with 1-bit weights trained from scatch, and later on another feat
【LLM】基于LLM的agent应用（上）
发现问题，并解决问题，批判性思维
11-19 2267
ote 在未来，Agent 还会具备更多的可扩展的空间。 就 Observation 而言，Agent 可以从通过文本输入来观察来理解世界到听觉和视觉的集成； 就 Action 而言，Agent 在具身智能的应用场景下，对各种器械进行驱动和操作。 Agent 是以核心智能模型来驱动的，一个可以具备能力从思考开始，最终做到完整输出的智能性结构。Agent 的发展很符合第一性原理，从最先的 Prompt，后面有人在写完的 Prompt 后面加通用的规划器。 文章目录 note 零、相关概念介绍 一、人类与AI协
【LLM】LangChain基础使用（构建LLM应用）
发现问题，并解决问题，批判性思维
05-11 1313
note LangChain应用开发框架，支持python和typescript语言；可以帮助生成prompt模板，并通过代理充当其他组件（如提示模板、其他大语言模型、外部数据和其他工具）的中央接口。 LangChain可以直接与 OpenAI 的 text-davinci-003、gpt-3.5-turbo 模型以及 Hugging Face 的各种开源语言模如 Google 的 flan-t5等模型集成。 文章目录 note 一、LangChain介绍 二、LangChain的应用 1. 集成LLM
LLM：Transformers 库
皮皮blog
06-02 5323
Transformers 库是一个开源库，其提供的所有预训练模型都是基于 transformer 模型结构的。Transformers 库支持三个最流行的深度学习库（PyTorch、TensorFlow 和 JAX）。我们可以使用 Transformers 库提供的 API 轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本，以及节省从头开始训练模型的时间。这些模型可用于不同模态的任务，例如：文本：文本分类、信息抽取、问答系统、文本摘要、机器翻译和文本生成。图像：图像分类、目标检测和图像分割。
【LLM大模型】指令微调、peft高效参数微调
热门推荐
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
【LLM-agent】function call功能、AgentTuning微调
发现问题，并解决问题，批判性思维
01-21 4730
function call本质：准确识别用户的语义，将其转为结构化的指令，其中通过LLM理解指令和上下文判断需要调用哪个函数、抽取出input中函数所需的参数。是用户和界面交互方式产生质变的一个trick。 所以为了提高模型准确识别和调用函数的能力，如agenttuning就是利用多个agent任务交互轨迹，对LLM进行sft微调.gpt中的function call可以让开发者在调用 GPT-4 和 GPT-3.5-turbo 模型时，描述函数并让模型智能地输出一个包含调用这些函数所需参数的 JSON
LLM_Study_Note_Day5
weixin_43965929的博客
01-23 376
2、LMDeploy简介。
LLM_Study_Note_Day4
weixin_43965929的博客
01-22 413
1、Finetune 简介。3、8G显卡玩转LLM。2、xTuner介绍。
基于LLM的智能智能面试系统python实现源码+项目操作说明.zip
06-06
NOTE: MAC M1版本使用一下命令安装依赖 pip install --no-cache-dir --upgrade --force-reinstall -Iv grpcio gevent pip install -r requirements.txt 运行项目 streamlit run interview_streamlit.py # 本地...
使用 Python 从头开始​​构建百万参数 LLM
AI天才研究院
12-22 155
使用 Python 从头开始​​构建百万参数 LLM: A Step-by-Step Guide to Replicating LLaMA Architecture 复制 LLaMA 架构的分步指南
LLM - 理解 大模型 Batch 推理的 Padding Side (左填充或右填充)
最新发布
Mystra
07-26 323
使用 Left Padding (左填充) 或者 Right Padding (右填充)，HuggingFace 的 transformer 库使用的 Left Padding，而 Llama 源码使用的是 Right Padding，两者各有不同，各有优势。做大模型 Batch 推理时，当请求的语句不等长时，需要使用 Padding，即填充一个无意义的 token，一般推荐 eos_token。
python 加速(1)
EmoC的博客
06-15 2523
因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。
Yolo v5 长方形 训练修改
EmoC的博客
04-25 1747
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
Whisper
EmoC的博客
11-30 1673
Whisper 代码详解
YOLO NAS note 1
EmoC的博客
05-18 1573
Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。
openCV的CUDA GPU 版本安装 （Ubuntu windows 通用）
EmoC的博客
10-22 1415
例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 1015
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
LLM原理与ChatPDF实现详解
"LLM原理与ChatPDF实现.pdf" 这篇文档主要探讨了大模型的原理以及如何实现ChatPDF，特别提到了Transformer、BERT和GPT等模型，还对比了国产的大模型，如百度的文心一言和科大讯飞的星火。文档内容涵盖了从大模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值