- 博客(13)
- 收藏
- 关注
RSS订阅原创 第七节笔记
四、Open Compass的执行流程和自建数据集的方法，包括PARTITIONER、open fl、runner、SUMMARIZER和tasks等文件的关注点，以及如何进行分片和执行任务。二、open pass评测工具的全面升级，包括工具链、基准、榜单、自定义数据集和多模态评测等功能，以及开放共享的基准社区和自研数据集。三、如何使用OpenAI的API进行自然语言处理任务的评测，包括评测数据集、模型路径和参数的指定，以及结果的查看和总结。1、需要指定数据集、模型路径和token net路径。
2024-06-12 11:29:51
240
原创 第四节笔记
一、大语言模型微调的理论和实践，包括增量预训练和指令微调两种范式，以及数据的标准格式和对话模板的重要性。四、如何使用文本加图像的多模态模型进行预测，包括模型的训练和测试阶段，以及使用高质量数据进行微调的操作。五、如何利用X推进行微调，并详细讲解了微调的步骤，包括准备开发机、安装环境、准备数据集和选择配置文件等。二、大模型微调工具箱x2，它可以一键开始微调，适配多种微调算法和硬件，具有轻量级和快速训练的特点。3、x2是打包好的大模型微调工具箱，轻量级，支持多种微调算法和硬件，易于使用。
2024-06-12 11:27:37
152
原创 第六节笔记
3、按Win+Shift+Alt调出Power Share，等待Lin deployed API server与agent lego的web ui完全启动。3.完成legend的实战后，进入agent lego的实战部分，准备安装目标检测工具所需依赖。3.介绍legend和agent lego两个工具包，用于构建基于大圆模型的智能体应用。3.进入legend web demo的部分，按照指示执行代码并进行端口映射。2.安装legend和agent lego，选择从源码进行安装。2、选择new to加载。
2024-06-12 10:39:04
256
原创 第六节作业
2、使用 Lagent 或 AgentLego 实现自定义工具并完成调用。该部分使用MagicMakerImageGeneration生成风景画。首先按照文档中问题对internLM2论文进行提问。1.完成 Lagent Web Demo 使用。1、完成 AgentLego WebUI 使用。又对其提问秦皇岛温度，查询后可发现回答正确。2、完成 AgentLego 直接使用部分。
2024-06-12 10:36:10
164
原创 第五课笔记
一、大模型部署的背景、部署方法、IMDEI量化部署和大圆模型实践，以及实际部署中面临的挑战，包括计算量、内存开销、仿存瓶颈和用户请求不确定性等问题。四、如何使用Python终端与模型进行对话，并演示了模型量化的过程，包括设置kv catch缓存大小和使用自动AWQ算法进行量化。此外，还介绍了模型量化的方法，以及MD PL软件的三个核心功能。五、如何对模型进行量化，并将量化后的模型作为API服务提供给客户端访问。介绍V的量化服务功能，包括本地部署和大模型封装为API服务器，供客户端访问。
2024-06-11 10:44:55
298
原创 第四节作业
本次作业选用了Learnlm模型为基座模型，使用oasst1数据集进行微调，通过结果可以看出微调前后模型对相同问题的答案有很大不同，这证明我们的微调起了效果，具体结果如下图。
2024-06-03 10:10:34
64
原创 第三节作业
RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。茴香豆的知识库构建通常是个人与企业的相关技术知识文档，目前支持Markdown文件、word文档、ppt文件等常用的文件类型，可以设置积极和消极的标签控制助手的回答范围。生成Generation：将检索到的外挂信息与原始问题一起作为提示，输入LLM中，得到最终的回答。找出匹配度最高的Chunks,
2024-05-22 11:23:46
119
原创 第二节课笔记
1. InternLM是一个开源的轻量级训练框架，用于支持大模型训练。2. 上海人工智能实验室已经发布了两个开源的预训练模型，分别是InternLM-7B和InternLM-20B。3. Lagent是一个轻量的开源基于大模型的智能体框架，可以快速将大语言模型转变为多种类型的智能体。4. 浦语灵笔是基于书生浦语大语言模型研发的视觉+语言大模型，具有出色的图文理解和创作能力。二、创建开发机运行demo的基本流程1. 使用特定配置云盘创建机器。2. 机器创建完成后，进入排队等待状态。
2024-05-21 20:32:21
326
原创 第二节作业
和浦语对话，和书生·浦语对话，并找到书生·浦语 1 处表现不佳的案例比如指令遵循表现不佳的案例。进行石头剪刀布的游戏时，浦语模型表现不佳，具体效果如图所示。模型生成 300 字的小故事。
2024-05-15 11:17:45
244
原创 浦语笔记1
1.大模型的发展背景：大模型已成为发展通用人工智能的重要途径。2. 书生浦语大模型的特点：书生浦语大模型是一个全链条的开源体系，支持长达20万汉字的输入，是全球大模型产品中支持的最长上下文输入长度。7. 工具体系：为了简化从模型到应用的过程，开发了全链条的工具体系并开源。这些工具支持从数据准备、模型训练、微调、部署到评测的整个过程，旨在帮助开发者和研究者更容易地使用和开发大模型应用。包括升级千亿参数大模型、支持8K语境、推出全免费商用的7B开源模型和全链条工具体系、发布多模态预训练语料库、升级对话模型等。
2024-05-14 22:42:58
156
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人