- 博客(12)
- 收藏
- 关注
RSS订阅原创 【AI大模型开发者指南】llama3命令行部署、量化、作为服务——lmdeploy实战
0.80.50.010.0001origin68g/80g48g/80g16g/80g16g/80g4bit66g/80g43g/80g7g/80g6g/80g注意，当kv0.0001时模型均不会输出，最小可用模型为4bit+kv0.01，简单问答效果和origin+kv0.8相当。
2024-05-04 01:20:49
1871
原创 【AI大模型开发者指南】llama3认知微调——xtuner实战
不需要修改dataset_map_fn，数据集方面只需要改alpaca_en.dataset的path为。完成合并后，streamlit web demo 测试。如果不设置MKL，可能报错如下，并且不会继续。设置无误后，可能还会有error，但可以继续。环境配置在此不再赘述，模型下载也是一样。adapter生成完毕，下一步合并模型。唐僧念经式认知微调数据集脚本↑。前期准备完成，进入训练阶段。本次工作目录结构可以克隆。为现有数据集位置即可。完成后，一键启动训练。
2024-05-03 23:23:46
462
原创 【AI大模型开发者指南】llama3 web部署实战与原理解析（logits_warper、logits_processor）
基于streamlit的web部署的核心便是实现streamlit app，以上是一个llama3 web demo的streamlit脚本，输入参数只有一个——llama3的模型目录让我们来分析该脚本。
2024-05-03 22:36:03
1975
原创 【AI大模型开发者指南】ruozhiba数据集构建——xtuner实战
可以从opendatalab直接下载下载完成后，传输到服务器中（开发环境中）
2024-05-03 19:18:22
721
原创 【AI大模型开发者指南】书生·浦语Lagent智能体框架实战
首先基于和风天气创建api然后创建自定义工具weather.py，放到lagent/lagent/actions目录下import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。
2024-04-25 02:06:12
253
2原创 【AI大模型开发者指南】书生·浦语LMDeploy模型部署神器
模型读取耗时较长，约1分多钟，输出共7秒钟这是一段典型的LLM推理demo（基于命令行），让我们记住他现在的推理速度接下来，使用LMDeploy部署。
2024-04-25 00:08:19
182
原创 【AI大模型开发者指南】书生·浦语“茴香豆”RAG助手部署
输入 → 输出输入 → 检索知识库 → 选取topK个知识点 → 合成新prompt/instruction → 输出就目前而言，RAG是大模型应用中比较火的一个领域。
2024-04-24 20:46:49
301
原创 【AI大模型开发者指南】书生·浦语InternLM2-1.8b下载与命令行使用
使用方法均类似git clone，可以通过.py文件安装官方api进行下载，也可以直接克隆仓库。
2024-04-24 19:12:58
218
原创 【AI大模型开发者指南】书生·浦语大模型全链路开源体系
书生·浦语大模型全链路开源体系是一个面向开发者不错的开源大模型技术方案供应，涵盖数据、预训练、微调、部署、评测、产品搭建全链路
2024-04-04 19:36:31
1991
原创 15分钟快速上手OpenMM框架——从自定义Config到模型微调
在软件开发中，Config（或Configuration）指的是配置文件或配置项，用于存储和管理应用程序的参数、设置和选项。配置文件通常是一个文本文件，其中包含一系列键值对（或其他格式），用于指定应用程序的行为和属性。配置文件的作用是将应用程序的参数和设置与代码分离，使得应用程序的行为可以根据配置文件的内容进行灵活的调整和定制，而无需修改代码。通过修改配置文件，可以改变应用程序的行为、适应不同的环境或需求，而无需重新编译或重新部署代码。此文介绍OpenMMLab中重要的Config概念。
2023-06-07 14:54:40
717
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人