![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 88
wengad
BI、大数据、产品、2B、2C、互联网、AI、产业应用
展开
-
lmdeploy部署chatglm3模型并对话
模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k。使用30% A100 来运行chatglm3模型,采用lmdeploy来启动。启动后,运行在127.0.0.1的23333端口,使用的是fastAPI服务器。直接采用lmdeploy chat启动并对话交互。注:具体的API可以访问23333端口来查看。requirenments.txt 内容。用于从魔搭下载chatglm3模型。通过curl来方式这个api。原创 2024-06-26 00:16:07 · 359 阅读 · 0 评论 -
7-OpenCompass 大模型评测实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。原创 2024-06-11 18:43:02 · 573 阅读 · 0 评论 -
6-LAgent & AgentLego 智能体应用搭建
幻觉:模型因为训练数据的不能全覆盖性,导致模型可能会生成虚拟信息时效性:用于模型训练的数据过时了,无法反馈最新的趋势和信息等。可靠性:当模型遇到复杂任务式,可能出现错误输出,无法被信任智能体定义智能体能够感知环境中的动态条件,进而能采取动作影响环境,同时能够运用推理能力理解信息、解决问题、生成推断、决定的动作。智能体的范式:AutoGPT、ReWoo、ReAct这里我们使用天气查询API,为了获得稳定的天气查询服务,我们首先要获取 API KEY。原创 2024-06-10 21:41:42 · 603 阅读 · 0 评论 -
5-LMDeploy量化部署 LLM 实践
同样,在https://studio.intern-ai.org.cn/console/instance上做实验,使用50%的A100来实验。原创 2024-06-08 23:38:47 · 356 阅读 · 0 评论 -
4-XTuner微调LLM1.8B模型,实现模型自我认知的改造等
使用书生·浦语的XTuner对书生·浦语 LLM 1.8B模型进行微调,实现其自我认知的改造;并将微调合并后的模型提交到openxlab仓库中;基于书生·浦语LLM1.8B,训练一个llava模型,能够对图片进行解读(注意不是生成图片)原创 2024-06-07 11:15:26 · 766 阅读 · 0 评论 -
3-茴香豆搭建个人智能助手
茴香豆(介绍、特点、架构、构建步骤)茴香豆实践演示。原创 2024-06-04 09:58:25 · 497 阅读 · 0 评论 -
2-轻松玩转书生·浦语大模型Demo
整个过程,建议直接使用0.5卡的,实验比较快一些。通过这次实战,熟悉了studio平台的使用,熟悉了相应的工具,收获蛮大。原创 2024-05-26 23:36:04 · 760 阅读 · 0 评论 -
1-书生·浦语发展历史(截止202405)及其开源工具链
全链路的开源体系,是覆盖MLOps的全生态的链路的工具链,支持从数据获取、预训练、微调、部署、模型评测、场景应用支撑的工具链条。在github上的项目:AI工程也是工欲善其事,必先利其器的一个大工程,能够从某种程度、某个方面降低人工智能工程化的门槛,相信业内也会出现类似的更多、更好的平台,为人工智能的市场化应用提供有力支撑。原创 2024-05-24 17:44:46 · 977 阅读 · 1 评论 -
TEXT2SQL工具vanna本地化安装和应用
在待连接的mysql数据库的,demodb数据库中新建表和记录,当然可以在不同数据库里面创建表,并插入不同的数据,根据实际情况可以调整SQL,并调整后续步骤的python代码中连接数据库的内容。这里的脚本chroma使用的local的模型,运行了以下脚本后,会在运行的目录下生成chroma.sqlite3文件,存放训练的数据,别删了,删了那训练数据就没了,要重新来。这里使用的是centos7 ,并有一块11G显存的GeForce GTX 1080 Ti,本文编制的时候,使用的是vanna 0.5.4版本。原创 2024-05-10 18:48:09 · 2182 阅读 · 13 评论 -
复现paddleBoBo的问题和解决
在复现paddleBoBo的时候,遇到比较多的问题,最后成功了。原创 2024-05-03 17:53:42 · 535 阅读 · 2 评论 -
在demo数据集上微调PaddleSpeech
在centos7 (CentOS Linux release 7.6.1810 (Core))下,git clone paddlespeech项目,checkout r1.4.1,并安装微调中文环境,进行微调。微调PaddleSpeech遇到的This dataset has no examples与解决。以上在运行run.sh的时候,报错This dataset has no examples。下载后解压后,有200个wav和lables.txt文件。预训练的hifigan 模型。原创 2024-04-27 09:32:31 · 1264 阅读 · 2 评论 -
OLLAMA部署qwen:7b,与fastgpt集成
它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。这里使用的是4.6.8的版本,这里是从github上拉了分支,直接部署在操作系统上的,如果是docker安装,那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注:本文章默认之前fastgpt都已经配置好了,这次只是新增一个qwen:7b的模型对接。在渠道清单中,点击刚才创建的渠道条目的“测试”按钮,如果配置没问题,那么测试可以通过。原创 2024-04-18 16:31:04 · 2055 阅读 · 1 评论