人工智能
文章平均质量分 72
小生浩浩
纸上得来终觉浅,绝知此事要躬行。
展开
-
基于llama模型进行增量预训练
大家知道AI模型是怎么训练出来的吗?AI模型的训练训练过程分为如下三个阶段第一个阶段叫做无监督学习(PreTraining),就是输入大量的文本语料让GPT自己寻找语言的规律, 这样一个巨大的词向量空间就形成了,但是话说的漂亮并不一定正确。第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调),就是人工标注一些语料,教会GPT什 么该说,什么不该说。(训练数据集)原创 2023-06-19 16:51:09 · 8547 阅读 · 19 评论 -
使用数据预训练一个AI语言模型
我们之前讲过了如何部署一个别人已经训练好的AI模型、也学会了如何微调一个AI模型,也讲了预训练模型和微调模型的区别,那本文就聊聊如何从零训练一个语言模型吧!原创 2023-05-29 14:41:08 · 3901 阅读 · 4 评论 -
闻达(wenda+chatGLM-6B)一键部署包
本文是《基于闻达(wenda+chatGLM-6B),构建自己的知识库小助手》的一键部署包,将处理数据、模型启动整理为可执行脚本,并提供内置python虚拟环境,无需任何额外的环境配置,只需要上传自己的知识库文件即可使用原创 2023-05-28 16:48:05 · 2362 阅读 · 9 评论 -
基于闻达(wenda+chatGLM-6B),构建自己的知识库小助手
ChatGLM-6B是清华团队+智谱AI开发的,一个开源的、支持中英双语的对话语言模型,具有 62 亿参数。被很多人视为ChatGPT的平替。但是由于ChatGLM-6B 的规模较小,目前已知其具有相当多的局限性。解决这一问题的方式大体上有两种:一种是使用更大规模的模型来提升整体能力,提升其自我认知能力。开发者表示基于 1300 亿参数 GLM-130B 的 ChatGLM 已经在内测开发中。另一种便是使用插件或者外挂的方式,提升模型在某一个领域的能力。原创 2023-04-28 17:32:38 · 27089 阅读 · 17 评论 -
基于chatGLM-6B模型微调详细教程(linux版)(ptuning & lora)
基于chatGLM-6B模型预训练(linux版)(ptuning || lora)原创 2023-04-26 15:35:40 · 14293 阅读 · 6 评论 -
chatglm-6b,搭建自己的AI模型
chatglm-6b,搭建自己的AI模型原创 2023-04-26 15:27:35 · 887 阅读 · 0 评论