- 博客(18)
- 收藏
- 关注
RSS订阅原创 AI知识库进阶！三种数据处理方法！提高正确率！本地大模型+fastgpt知识库手把手搭建！22/45
通过一个实例理解基于字符分割和基于 Token 分割的区别可以看出token长度和字符长度不一样，token通常为4个字符五、分割Markdown文档5.1 分割一个自定义 Markdown 文档分块的目的是把具有上下文的文本放在一起，我们可以通过使用指定分隔符来进行分隔，但有些类型的文档（例如 Markdown ）本身就具有可用于分割的结构（如标题）”fastgpt默认有一段提示词预设，是程序的功能，你也可以根据自己的数据，更改提示词，这会影响大模型的结果，所以这就考验兄弟你的提示词工程功底了！
2023-12-13 21:42:55
3744
1
原创 界面式操作！私有的知识库搭建！3分钟搞掂！各部门从此拥有自己的知识库！fastgpt使用指南！21/45
用户发送过来的一段话中，可能有多种问题/需求，这里会做一个问题分类，如果打招呼/问好之类问题可以指定模型直接回答！看名字就知道了，他有一个默认的数据模板的，如果你原先已有这样的数据，那一定要按照这个方法导入，这是准确率最高的格式！在这里可以预设一个或几个变量，让用户根据变量的内容构成提示词，给大模型做回答，这里以翻译助手的截图，大家一看就懂了！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！这里可以选择知识库，它默认已经帮你编排好知识库的链了，直接选择知识库就可以用上！
2023-12-13 21:41:17
1604
2
原创 完全体！本地大模型+知识库大功告成！让知识库可以存知识！fastgpt部署m3e嵌入模型！20/45
在这个例子中，我们运行的是一个名为m3e-large-api的镜像，版本为latest。上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B/chatglm3-6b接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天跟着雄哥，把嵌入模型m3e，部署到GPU上，打造知识库完全体！
2023-12-13 21:39:29
4913
2
原创 本地ChatGLM3-6B接入知识库！让他拥有实时知识！0基础私有化部署！19/45
上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！当然，现在知识库还不能工作，因为现在还没有接入m3e嵌入模型，只能简单对话！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！下一篇，我们把嵌入模型部署好，并且接入部署one-api，直接做完成体！接入知识库，完全体！
2023-12-13 21:37:46
1396
2
原创 把本地Qwen-14B接入知识库！让他拥有实时知识！私有化部署！18/45
现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！这时，你已经成功把大模型和知识库打通了，如果你在这个过程有任何的报错，直接留言或者找一意.小胖即可！当然，现在知识库还不能工作，因为现在还没有接入嵌入模型，只能简单对话！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！这是雄哥部署好之后的截图，以后你只需要激活环境，cd到目录，直接运行命令启动即可！下一篇，我们把嵌入模型部署好，并且接入部署one-api，直接做完成体！
2023-12-13 21:34:37
2838
3
原创 搭桥！接通本地大模型+知识库，部署one api搞掂，让知识库拥有大模型能力！17/45
这样，这个API key的访问量就是不限量，不限期的了，如果你是外发给其他人使用的，你可以让他购买算力，然后给他设置一个限量的key！今天跟着雄哥做【知识库搭建】，我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天我们的重点是接入本地部署的LLM，而不是闭源LLM（百度/星火/智谱），但是，只要你跟着雄哥学会了本地部署，那其他的就更简单了！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！你就得到了API key了！
2023-12-13 21:30:37
2824
2
原创 不！GPTs无法取代知识库？0基础搭建本地私有知识库！本地fastgpt部署！16/45
板块，我们将在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！当然，现在知识库还不能工作，因为现在还没有接入大模型到知识库中，下一篇，我们部署one-api，接入本地的大模型到知识库中！雄哥在群里也说了，只要国家/某流行认可的第三方机构没能确保这些闭源LLM+知识库应用是100%安全的，它就有价值！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！日后你的更新，必须要先备份文件，后面会教，然后按照雄哥的方法更新！
2023-12-13 21:24:37
1880
2
原创 大突破！本地大模型接入微软Autogen，多专家Agent共事成现实！支持llama2+chatglm，附代码！
想象一下，你翘个二郎腿，偌大的办公室，只有你一个人，喊一句：“做个月度计划”，他自动分析上月数据，整合现有资源，做本月的规划，人场地资金！他返回的key，是默认对齐OpenAI KEY的，意思是我们本地的LLM的API，“伪装成”OpenAI的key，让他可以被接入到Autogen中！刚才我们也说了，得益于微软Autogen的框架，整个开发过程，非常的简单！今天我们实现本地LLM的Agent，接入微软Autogen的项目，实现完全本地化部署和推理，直接加快微软Autogen在国内商业落地的速度！
2023-10-19 01:10:18
3564
2
原创 【GPT-4V】下智齿要拔啦！多模态的曙光！精读微软166页报告！大脑过载！
下面的五张图是从一段制作寿司的教程视频中截取的，GPT-4V的任务是（在理解内容的基础上）推测这些图片出现的顺序，然后按顺序排好，输出一个美美的食谱！你想想再复杂的内容，告诉他逻辑，让他学习，分分钟一顶十！点开一看，还是微软发，不是open ai发，假期在家仔细研读2天，没有相关数据集信息，没有评估，只是演示了带有图像的GPT 4V的潜在功能，是微软的风格！它对多数的任务都可以处理，不管是是图文问答，推理，论文PDF图片的OCR，公式提取，找不同，缺陷检测，表情识别，智商和情商测试，目标对象计数等等！
2023-10-15 00:23:02
154
1
原创 【Qwen-14B】真正喂饭到嘴部署教程！0基础手把手，懂技术的别看！
你可能像我们NLP学习群中的同学一样，遇到各种报错或问题，我每天挑选5条比较有代表性的问题及解决方法贴出来，供大家避坑；还有同学是几年前的老爷机/笔记本，显卡不好，我们应用了动态运输技术框架，直接提升超40%运算效率，无显卡2g内存就能跑，直接焕发第二春；我们“0基础微调大模型+知识库，部署到微信”的项目也在稳步推进，qwen微调教程也紧随其后，第一时间在知识星球上线，一定要扫码加入啊！如果你还不知道该怎么微调训练模型，在这里还可以学训练和微调，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。
2023-10-15 00:21:02
4385
3
原创 【教程】降维打击！微调ChatGPT3.5后直逼GPT4！收费怎样？可以本地吗？一篇说清楚！
还有同学是几年前的老爷机/笔记本，显卡不好，我们应用了动态运输技术框架，直接提升超40%运算效率，无显卡2g内存就能跑，直接焕发第二春；【nlp群】很多小朋友都跟着官方的教程去微调，发现很多问题，雄哥团队跑了之后，发现官方教程很多坑，没跑过的，绝对不知道这些坑在哪！雄哥团队整理了一份五千条“心理咨询”数据，得到的是温柔耐心的大姐姐，对比ChatGPT的序号1234的风格，简直太治愈了~如果你还不知道该怎么微调训练模型，在这里还可以学训练和微调，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。
2023-08-24 22:55:30
620
原创 奶奶看着教程部署了LlaMa2！真的能媲美GPT4吗？最新支持中文啦！部署试用教程
llama2开源给整个行业带来不小的冲击，目前有7B、13B、70B三种尺寸，预训练阶段使用了2万亿Token，SFT阶段使用了超过10w数据，人类偏好数据超过100w。还有同学是几年前的老爷机/笔记本，GPU算力慢，我们应用了动态运输技术框架，直接提升超40%运算效率，无显卡2g内存就能跑，老爷机焕发第二春；如果你还不知道该怎么微调训练模型，在这里还可以学训练和微调，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。7B只是试用，接下来雄哥会继续跟进，更新更多70B级别的微调训练，敬请围观！
2023-08-03 00:57:28
583
原创 #05【chatglm】lora微调几条数据，硬是重复输出几分钟？那里问题？-已解决
还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；调整上下文的长度可能会解决重复输出的问题，这是因为上下文的长度直接影响了模型对输入文本的理解和生成输出的方式。今天，在【NLP学习群】中，今天最后一个问题，还是选这位dylan同学的问题，因为他遇到的问题实在是太典型了，只给了几条的数据，chatglm重复输出了十分钟。大部分的情况，是需要更多处理的！
2023-08-02 00:28:13
1194
原创 #04【chatglm】微调数据特别长，要调max source length和max target length？会截断数据？
今天，在【NLP学习群】中，一位同学问如果我的问题都是input特别长的那种 在LoRA训练时 是不是得调大我的max source length和max target length？还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。
2023-08-02 00:23:48
1126
原创 #03 【chatglm】微调大模型的问题要放在哪个字段？四五个样本怎样让大模型记住？
今天，在【NLP学习群】中，一位同学一下问了2个问题，相信大家在微调时也会遇到这样的问题，自己问题应该放在instruction、input、output哪个字段，用什么格式去训练呢？还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。
2023-08-02 00:18:05
2169
2
原创 #02【chatglm】PyTorch没有启用CUDA报错，重装也没用！-已解决
环境配置问题：即使你已经正确安装了CUDA版本的PyTorch，有时候可能在运行代码时会使用与CUDA支持不一致的环境（例如，如果你在一个不支持CUDA的环境中运行代码）。还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；今天，在【NLP学习群】中，一位同学反馈，一直卡在cuda报错，无法部署大模型，重装也没用，一意专注部署前中后问题解决，专业对口了！
2023-08-02 00:13:55
910
原创 #01【chatglm】双GPU微调时报错“不在相同设备上”-已解决
还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。今天，在【NLP学习群】中，一位同学反馈，单卡微调时很顺利，但是双显卡微调时显示错误，他自己折腾好几天都没解决。为了解决这个问题，你需要确保在所有操作中使用相同的设备。
2023-08-02 00:08:48
917
原创 【妈妈级】清华ChatGLM2-6B本地部署搭建及测试运行，0基础小白也学得会
部署只是开始，如果想继续微调个人/企业垂直能力的model我搭建了一个数据共享交换平台，目前已收录中文对话、金融、医疗、教育、儿童故事五个领域优质数据集，还可以通过会员之间共享，工众后台：“数据集”下载。你可能像我们NLP学习群中的同学一样，遇到各种报错或问题，我每天挑选5条比较有代表性的问题及解决方法贴出来，供大家避坑；每天更新，工众后台：“问答3000条”获清单汇总。
2023-08-01 16:12:26
1614
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人