- 博客(25)
- 收藏
- 关注
原创 第三节课笔记与作业
您需要编写一个简单的服务器端脚本,用于接收飞书的消息,调用茴香豆助手的API获取回答,并将回答发送回飞书。:将茴香豆助手的接口接入到聊天软件中,需要编写服务器端脚本,用于接收聊天软件的消息,调用茴香豆助手的API获取回答,并将回答发送回聊天软件。:在茴香豆的检索流程中,会利用配置好的网络搜索API,根据用户的问题提取关键词,发送网络搜索请求,并获取相关搜索结果。:在飞书应用中设置机器人,用于接收和发送消息。:在配置文件中,用户可以设置网络搜索的范围,即指定搜索引擎检索的网站域名,以确保搜索结果的相关性。
2024-04-07 11:57:28
1366
1
原创 第二节课笔记
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-03-31 15:56:01
1403
1
原创 书生浦语第二期第一节课笔记
5. **性能表现**:在综合考试、语言知识、推理、数学、编程、长上下文建模等任务上,InternLM2取得了领先成绩。2. **预训练数据**:该模型使用了超过2万亿高质量token的数据集进行预训练,数据来源于网页、书籍、论文、专利等,包括中文和英文内容。8. **开源发布**:不同规模的InternLM2模型以及训练过程中的不同阶段模型已开源发布,供社区分析和进一步研究使用。6. **数据准备**:提供了详细的预训练数据准备流程,包括文本、代码和长文本数据的处理,为训练语言模型提供了重要参考。
2024-03-29 13:03:12
182
1
原创 进阶作业(选两个, 第二节和第五节)
kv量化并没有省很多显存,占用大约14758MB。4bit量化显存占用5792MB。原模型占用14886MB。
2024-02-19 16:21:17
372
1
原创 第六节课笔记
产业界:找出最适合产业应用的模型,赋能真是场景。普通用户: 了解诶模型的特色能力和实际效果。开发者:监控模型能力变化,指导优化模型生产。管理机构:减少大模型带来的社会风险。OpenCompass能力框架。提示词工程:问题的不同问法。前沿探索MMBench。垂直领域 法律 医疗。
2024-02-17 11:21:11
327
1
原创 第五节课笔记
部署方案:技术点 (模型并行 transformer计算和访存优化 低比特量化 Continuous Batch Page Attention)方案(云端 移动端)轻量化 推理引擎 服务(api server gradio triton inference server)持续批处理 有状态的推理 高性能cuda kernel Blocked k/v cache分块缓存。计算密集 访存密集(大模型一般是访存密集)无缝对接open compass。有状态的推理 推理测的缓存。分块的k/v缓存 历史缓存。
2024-02-16 21:14:57
366
1
原创 第四节课笔记
System:给定一些上下文信息,例如我们想微调一个安全的AI助手,那System就是“你是一个安全的AI助手”。Assistant:根据用户提问,结合System上下文信息,输出回答,在微调时将对话样本的回答赋予此角色。因为在对话中模型只是根据我们的提问去拟合训练数据集中的分布,它并没有意识你的意图是在向它提问。通过指令微调后,便可得到instructed LLM,可以输出我们更加相对满意的结果。User:用户提问,在微调时将对话样本的提问赋予此角色。FINETUNE简介。为什么需要指令微调?
2024-02-15 12:57:22
378
1
原创 第三节课笔记
首先加载各类格式本地文档->统一转化纯文本->分割成Chunk->准换为词向量存到Chroma数据库->将用户输入转化为同纬度向量->进行相似度对比->将相关文本段嵌入prompt->大模型回答。特点:对回答风格模拟特别好,对算力要求高。方式:模型外挂知识库提高大模型知识备。局限:单次回答有限总结性回答表现不佳。2.LangChain简介。5.Web Demo部署。
2024-02-13 19:43:39
332
1
原创 第二节课笔记
定义:人工智能领域参数数量巨大、拥有庞大计算能力和参数规模的模型。特点和应用:大量数据训练、数十亿数千亿参数、各任务展现惊人性能。2.InternLM-Chat-7B智能对话Demo。3.Lagent智能体工具调用Demo。1.大模型及InternLM模型介绍。4.浦语灵笔图文创作理解Demo。
2024-02-13 16:29:52
454
1
原创 第一节课笔记
这个视频介绍了书生普语大模型全链路开源体系:包括数据收集、预训练、微调、部署、评测和应用等全过程,提供了丰富的工具和框架。视频重点介绍了书生万卷多模态语料库、INTETRAIN预训练框架、x-tuna微调框架、Open Compass评测工具和M-Deploy推理框架等。此外,还介绍了智能体应用方面的工具箱和API接口。这个开源体系提供了全面的支持,使得大模型的开发和应用更加便捷和高效。- 0:01 🌍大模型热潮。
2024-02-10 16:23:49
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人