LLM
文章平均质量分 76
桂花很香,旭很美
这个作者很懒,什么都没留下…
展开
-
hf-mirror (huggingface 的国内镜像)
官网:网站域名,用于镜像域名。作为一个公益项目,致力于帮助国内AI开发者快速、稳定的下载模型、数据集。原创 2024-07-10 14:04:07 · 3335 阅读 · 2 评论 -
function-calling初体验
函数调用(Function-Calling)允许使用自定义功能扩展LLM,使它们能够根据自然语言指令形成对外部函数的调用。结构化数据提取使LLM能够从非结构化文本中提取可用信息。Function-calling是LLM接收自然语言查询以及函数描述,并输出可用于调用该函数的字符串的能力。先使用NexusRavenV2-13B 大模型,一个针对函数调用(function-calling)和数据提取进行了微调的开源模型。原创 2024-07-03 12:07:58 · 1167 阅读 · 0 评论 -
AutoGen 两个agent讲相声
注意,你想让那哪个先开始就从哪个agent 初始化一个 initiate_chat ,然后设置对话者(recipient),然后起个话头,然后设置下最多对话几轮就可以开始一个简单的相声对话了。如果我们想记录状态(state),并保持状态(maintain the state),然后让他执行一系列的任务(tasks),我们需要一个不同的方法(approach)现在有了两名相声演员,一个逗哏,一个捧哏,开始欣赏下现挂的相声吧。添加summary 参数,获取更加好的summary。原创 2024-07-01 20:59:04 · 1268 阅读 · 0 评论 -
query2doc:用大模型做query检索拓展
这个时候就可以分析bad case。找回链路不信任关键链路漏召回相似度计算有问题的规则心法利器[37] | bad case治疗术:认知篇心法利器[38] | bad case治疗术:现状篇心法利器[39] | bad case治疗术:分析篇心法利器[40] | bad case治疗术:解决篇心法利器[32] | 一些印象深刻的bad caseML&DEV[13] | bad case分析NLP.TM[22] | 如何修正NLP问题的bad case。原创 2024-06-24 16:22:02 · 980 阅读 · 0 评论 -
大模型PEFT(二) 之 大模型LoRA指令微调学习记录(qlora 在最后有补充,流程差不多)
增加额外参数:PrefixTuning、Prompt Tuning、Adapter Tuning及其变体。选取一部分参数更新:BitFit。引入重参数化混合高效微调。原创 2024-06-09 16:50:35 · 1070 阅读 · 0 评论 -
大模型PEFT(一)之推理实践学习记录
多种模型: LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemmha、Baichuan、ChatGLM、Phi等等。集成方法:(增量)预训练、指令监督微调、奖励模型训练、PPO训练和DPO训练。多种精度:32比特全参数微调、16比特冻结微调、16比特LORA微调和基于AQLM/AWQ/GPTQ/LLM.int8 的2/4/8比特 QLORA 微调。先进算法:GaLore、DORA、LongLoRA、LLaMAPro、LoftQ和Agen微调。实用技巧。原创 2024-05-27 18:00:45 · 1756 阅读 · 0 评论 -
使用 DPO 微调 Llama 2 (TRL)
Direct Preference Optimization(DPO) ,通过直接优化语言模型以符合人类偏好,无需显性奖励模型或强化学习。该算法隐式地优化与现有 RLHF 算法相同的目标(奖励最大化,带有 KL 散度约束),但易于实现且容易训练。原创 2024-05-07 17:10:54 · 1272 阅读 · 0 评论 -
Knowledge Graphs for RAG -- Chatting with the SEC Knowledge Graph (吴恩达-知识图谱在RAG中的应用 6)
拥有公司股票的经理提交了一些被分成块处理的表单。现在经理和公司都与地址相连接。公司之间那些比较近?只需要在图中跟踪指针(pointers箭头)即可有多少投资公司在他们所投资的公司附近?有多少投资公司和他们所投资的公司在同一个城市?原创 2024-04-09 23:01:48 · 1476 阅读 · 3 评论 -
gemini 试用(python)
在获取上下文时,messages里的model信息正常情况下是由Gemini生成的。这里想人为进行设计的,似乎达不到想要的功能,但并不是说chat模式有问题,而是历史消息中的model信息没有正确设置为Gemini生成的内容。流式输出只需将generate_content的stream设置为True即可。故事是流式输出的,json好像是一下出来的,速度很快(总共几秒钟就完成了)!Gemini也有与常规LLM或GPT相类似的配置方式。使用chat模式可以自动获取上下文。原创 2024-03-07 14:06:11 · 530 阅读 · 0 评论 -
RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory
9个多G的下载完只有1.29个G,下载时也没报错,只需重新下载完整的 ‘zip archive’ 即可。反复核对了路径没有问题,最后发现是文件下载缺失。合并llama-7b和小羊驼残差权重时报错。原创 2023-06-26 16:28:26 · 379 阅读 · 0 评论 -
MiniGPT-4 模型学习与实战
MiniGPT-4 是一个冻结的视觉编码器(Q-Former&ViT)与一个冻结的 文本生成大模型(Vicuna,江湖人称:小羊驼) 进行对齐造出来的。MiniGPT-4 具有许多类似于 GPT-4 的能力, 图像描述生成、从手写草稿创建网站等MiniGPT-4 还能根据图像创作故事和诗歌,为图像中显示的问题提供解决方案,教用户如何根据食物照片做饭等。投影层(Projection Layer)是神经网络中常见层类型,将输入数据从一个空间映射到另一个空间。原创 2023-06-26 11:38:32 · 1835 阅读 · 2 评论 -
error: RPC failed; curl 28 OpenSSL SSL_read: Connection was reset, errno 10054
clone MiniGPT-4的时候报错。原创 2023-06-26 10:44:10 · 787 阅读 · 0 评论 -
Vicuna 模型学习与实战
【LLMs九层妖塔—第二季 Vicuna 学习实战】 第一式:Vicuna 模型学习与实战原创 2023-06-18 22:34:21 · 1942 阅读 · 0 评论 -
langchain 学习笔记
langchain 学习笔记原创 2023-06-05 14:16:41 · 3124 阅读 · 0 评论 -
ChatGLM + PEFT 进行finetune
ChatGLM + PEFT 进行finetune原创 2023-05-18 16:51:01 · 3028 阅读 · 3 评论 -
peft 支持的方法和模型
测试了LoRA,以便对图像分类进行微调。然而,应该可以将LoRA用于任何基于Transformers的。与 image-to-text 模型一样,应该能够将LoRA应用于任何。任务指南以了解更多信息。翻译 2023-05-17 14:23:42 · 243 阅读 · 0 评论 -
大模型高效调参—PEFT库( Parameter-Efficient Fine-Tuning)
大模型高效调参大法——PEFT库( Parameter-Efficient Fine-Tuning)原创 2023-05-17 12:24:43 · 5071 阅读 · 0 评论 -
ChatGLM + LoRA 进行finetune
ChatGLM + LoRA 进行finetune原创 2023-05-15 18:50:50 · 1736 阅读 · 1 评论 -
fine tune chatgpt
fine tune openAI model ( 微调chatgpt)原创 2023-05-10 18:24:25 · 2179 阅读 · 0 评论 -
ChatGPT的强化学习部分介绍——PPO算法实战LunarLander-v2
ChatGPT的强化学习部分介绍——PPO算法实战LunarLander-v2原创 2023-05-08 23:15:47 · 1606 阅读 · 0 评论 -
AutoDL-GPU租用平台使用(LLM 备用)
AutoDL-GPU租用平台使用(LLM 备用)原创 2023-05-03 18:25:21 · 1869 阅读 · 0 评论 -
ChatGLM-6B模型微调实战(以 ADGEN (广告生成) 数据集为例,序列长度达 2048)
ChatGLM-6B模型微调实战(以 ADGEN (广告生成) 数据集为例)原创 2023-05-03 17:06:13 · 6836 阅读 · 6 评论 -
GLM:ChatGLM的基座模型
GLM:ChatGLM的基座模型原创 2023-05-01 13:53:26 · 1755 阅读 · 0 评论 -
微调一个垂直领域的大语言模型,如何调整模型的超参数,才能使生成的内容不重复?
chatgpt 回答原创 2023-04-29 22:56:08 · 1387 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--7.Chatbot
吴恩达 Chatgpt prompt 工程原创 2023-04-29 22:28:34 · 137 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--6.Expanding
吴恩达 Chatgpt prompt 工程原创 2023-04-29 22:08:23 · 113 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--5.Transforming
吴恩达 Chatgpt prompt 工程原创 2023-04-29 22:02:20 · 179 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--4.Inferring
吴恩达 Chatgpt prompt 工程原创 2023-04-29 21:46:16 · 113 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--3.Summarizing
吴恩达 Chatgpt prompt 工程原创 2023-04-29 21:38:36 · 110 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--2.Iterative-prompt
吴恩达 Chatgpt prompt 工程原创 2023-04-29 21:32:04 · 175 阅读 · 0 评论 -
吴恩达 Chatgpt prompt 工程--1.Guidelines
吴恩达 Chatgpt prompt 工程原创 2023-04-29 20:26:08 · 5713 阅读 · 0 评论 -
LoRA 理解
lora 学习笔记原创 2023-04-27 12:01:55 · 2056 阅读 · 3 评论