关于LLM，回答一个好问题（4.14-4.20）

🎉 公益性质的「赋范大模型技术社区」现已集结超3W大模型技术学习者、爱好者！干货技术助力超400W次成长！

---

🔸 写在前面 🔸

💡社区交流，一直是社区不可或缺的一部分，现在社群数量已接近100个，会出现已有问题被重复回答，或是问题较多自己的问题被遗漏的情况。

但，能提出一个好问题，本身就是一件非常有价值的事情！

虽然是公益性质的社区，但仍希望能尽可能的解决大家的问题，做起来会很困难，但是“为每个人提供有价值的技术赋能”是我们一直以来的企业愿景，也是「赋范大模型技术社区」建立的初衷。

在这样的前提下，我们发起了“回答一个好问题”栏目！并由专人进行维护、整理和编辑，目的是帮助大家更好的学习！

---

🔎 本期Q&A 🔎

Q1：对于领域数据如何清洗和处理，才能让模型学到领域知识？

首先是常规数据质量的控制，保证构建流程足够好，语义要足够清晰；

其次是要考虑数据中所包含的解释性内容的占比，需要根据具体情况完成数据增强处理；

然后是语义目标需要与业务目标对齐，给模型知识灌注的方向不一样所需要的数据类型也不一样。

当然，实际上知识灌注的很多实际问题还要看行业本身的情况和训练的情况。

Q2：向量模型应该怎么选择？我们现在做RAG不知道用什么向量模型合适，开源的向量模型会不会质量太差？

目前向量模型比较好的是开源的bge系列，在做rag的时候，可以先用开源的构建baseline 测试效果，一般企业用都会针对私有数据对Embedding做微调后再使用，效果才会比较好。

免费开源的项目：一个是ragflow，一个是microsoft graphrag，前者更偏向综合rag检索，集成了多种检索方案，后者基本上就是目前使用效果最佳的graphrag解决方案了。 

Q3：跑Unsloth动态量化的1.58b模型，支持 100个并发要什么硬件条件呢？

要几十上百并发的话一定需要纯GPU运行，CPU+GPU混合部署运行达不到这么高的并发。

Q4：自己写了一个MCP的Demo，调用不同打不到server，后续找到工具也不能使用是为什么？

这个服务器function没有描述。图中标记处显示，只是client在启动的时候统计的外部工具信息，知道有外部工具不代表运行的时候能正常的识别～

Q5：Smithery的github的MCP对curosr的安装是过时的？那么九天老师视频里的也一并过时了？

配置文件变化是很正常的，参考官网最新配置文件copy下就好了。

公开课课程里GitHub MCP和Smithery MCP是分开介绍的，两种方法都有讲解。（ps：当时介绍的就是说Smithery的MC需要单独维护的哦）

Q6：Dify的教程部分有Mac操作嘛？目前好像只有Windows的

没有mac版本的安装，mac版本建议使用docker方式安装，这些都可以参考window的，mac系统操作起来相对会更简单点

Q7：大二，想找偏向大模型算法方向的暑假实习，是否需要手撕leetcode呢？

大模型岗位不需要手撕leetcode，可以直接跟着课程学习，课程中有 Python 基础，掌握 python 就可以直接进入大模型的学习了

Q8：需要大模型帮助用户快速了解自己论文的问题，并给出建议报告；用claude3.7生成的提示词不知道怎么测试效果，在扣子建了智能体测试，但是因为加了很多插件，所以没办法确认提示词真实效果和稳定输出结果

可以 挑选10-20篇典型论文（比如优秀，中等，有缺陷各占1/3，具体根据他的实际情况定），花一点时间手工标注关键问题作为基准答案，构建出标准测试集，然后可以使用AB测试，在Coze 平台创建两个相同配置的智能体，用不同的提示词输出结果，然后人工或者 借助大模型去做打分，从而确定不同提示词的准确性和稳定性

---

❓ 猜你想问 ❓

1、为什么我的问题没有得到解答？

大模型技术社区为公益性质社区，不提供付费问答哦~如果你的问题没有得到解答，大概率是

• 群内的大家都比较忙，问题被遗漏了

• 问题过于笼统，不了解具体情况是没办法提供帮助的哦

例如-提问：如何打造一个行业智能体？

建议提问方式：我是xx领域，希望解决xx问题，通过xx技术是否能实现？可以达到xx效果吗？

• 提问被判定为讨论性质的内容，群友不感兴趣也就不会进行回答哦

• 其他未知情况~

2、该如何保障回答质量与真伪？

赋范大模型技术社区为公益性质社区，非官方发布资讯无法保证真伪，群友的回答可以作为你的参考。而本文整理问答经过：

• 专人整理与编辑

• 大模型初筛并判定可信度

• 一线总监级技术大佬复核

3、如何更快找到相关答案？

• 群友卧虎藏龙，欢迎在社群内提问呀~

• 九天老师每周直播，除了超硬核的前沿、干货内容，还会在中场和临近结束时进行答疑，千万别错过啦！

• QA文档会收录至大模型技术社区，借用飞书左上角的智能搜索，也能很方便找到相关答案哦~

---

 🗺 加入我们 🗺 

📍更多大模型技术相关内容，⬇️进入赋范大模型技术社区即可获取～

为每个人提供最有价值的技术赋能！【公益】大模型技术社区已经上线！内容完全免费，涵盖20多套工业级方案 + 10多个企业实战项目 + 400万开发者筛选的实战精华～不定期开展大模型硬核技术直播公开课，对标市面千元价值品质，社区成员限时免费听！