=
随着 AIGC 热潮的兴起，越来越多的 AI 工具应用开始出现，包括 OpenAI ChatGPT、Github Copilot 等，这些工具正在改变着传统的工作生产方式。
在 2023 年 3 月的一次发布会中，OpenAI 甚至展示了直接通过识别原型草图，智能生成网站代码的案例。
一时间，“程序员要失业了”类似言论甚嚣尘上。
但技术革命改变的只是工具，只有持续地学习新工具，才能不被时代所抛弃。
打不过就要加入，程序员要想保住自己的“饭碗”就需要开始使用 AI 工具提升自己工作效率，甚至直接参与到 AI 工具的开发中，完成个人能力升级。
AI工具使用痛点和解决方案
当下 AI 工具能力一类来自 AI 头部公司提供的通用能力，如 ChatGPT、 Copilot等，一类来自社区的开源生态，如 LangChain、AutoGPT 等。
前者功能稳定，但主要面向通用场景，缺少针对实际工作场景的定制化能力，如不支持基于公司内部文档解答问题等，甚至还有泄露公司内部信息的隐患。
后者扩展性强，可私有部署控制，但如果要完美契合当前团队工作流，其定制成本又特别高昂，难以在人力不足的中小型团队落地。
因此，有机地将头部 AI 公司的通用能力和社区开源生态进行结合，取长补短、灵活定制，才是长期的最佳策略。
下面笔者以 CLI 智能提示助手的定制化为例，讲解如何低成本地实现这种结合。
CLI 智能提示助手实践
CLI 智能提示助手是一个命令行终端工具，支持用户用自然语言描述想做的事情，比如统计查找重复文件等，然后回复建议的 CLI 命令。这类工具开源社区已有多个实现，为方便展示，我们选取其中的 Python 技术栈版本 ricklamers/shell-ai，使用效果如下：
其开源源码核心部分 shell_ai/main.py 比较简单（只有两百多行）。检查后便不难发现他的底层是通过如下提示词模板定制 OpenAI 通用模型 API 角色设定的：
1. SystemMessage.content='You are an expert at using shell commands.` ``I need you to provide a response in the format `{"command": "your_shell_command_here"}`.`` `The system the shell command will be executed on is Darwin 22.1.0.` `Only provide a single executable line of shell code as the value for the "command" key.``Never output any text outside the JSON structure. The command will be directly executed in a shell.``For example, if I ask to display the message \'Hello, World!\', you should respond with ```json\n{"command": "echo \'Hello, World!\'"}```.``Between [], these are the last 1500 tokens from the previous command\'s output, you can use them as context: [None], if it\'s None, don\'t take it into consideration.'` `2. HumanMessage.content="Here's what I'm trying to do: run 统计查找重复文件" # 这里注入用户输入
这个提示词中通过 SystemMessage 限定了 AI 机器人的身份背景和输入输出格式，同时给出了系统背景信息，如上文给出的是 MacOS 背景设定。
OpenAI API 在收到上述提示词后，将会基于大模型的历史训练语料中查找能匹配目标需求的 MacOS 系统命令，并返回给用户进行选择。
而程序员日常工作使用的命令常常是公司内定制的工具，不可能存在于 OpenAI 的历史训练语料中。
这就是前文第二节提到的落地痛点，因此需要将 OpenAI API 能力和开源工具能力有机结合，以扩展支持定制化的场景诉求。
但如何让 AI 学会公司内部工具的使用方法呢？
举个例子，公司内部有个专用命令，会自动汇总个人的开发工作信息，并自动生成每周报告。我们假设其使用文档如下：
显然，my_wr_gen 这个命令只存在于公司内部系统，OpenAI 和 shell-ai 都完全不知晓它的功能和使用方式。因此，当我们调用 shell-ai 问它如何生成周报时，它完全不会回答任何 my_wr_gen 相关信息，如下图所示：
针对这一问题，我们可以在公司内私域部署 Dify 服务，以低成本地实现一个基于私域知识信息的大语言模型 API。
Dify 底层的私有部署、文本分割和嵌入等技术能保障公司私域信息的安全。具体部署流程参考官网 docker 部署和源码部署章节，本文暂不累述。通过Dify 平台，我们可以配置出一个智能对话机器人 API，并将其绑定上文的 my_wr_gen 使用文档。具体步骤如下：
1、上传知识库
首先完成知识库上传：
①打开Dify 顶部【知识库】功能；
②点击【添加文件】将上面提到的使用文档文件上传上去。
Dify 平台默认支持多种文件格式，笔者建议优先使用 Markdown 文件类型。
2、创建和初始化对话机器人
点击顶部【工作室】功能页面创建一个对话类型机器人，然后分三步完成机器人的初始化设置：
①打开左侧【编排】设置页面；
②在【上下文】中添加刚才创建的知识库，实现知识绑定；
③在【提示词】中补充 CLI 助手角色设置如下图所示，笔者在提示词中约束了机器人的身份设定，并要求其根据上下文和用户输入查询给出 CLI 命令建议。
其中这里的变量“query”会用于承载后面 API 请求中的用户输入信息。
3、发布 API
配置完成后点击发布即可获得一个外网可以访问的大语言模型 API。
点击左侧【访问 API】 即可看到所有可用 API 类型，我们只需要使用其中的【发送对话消息】 API，如下图所示：
4、扩展 shell-ai 核心代码支持 Dify API
那么接下来，只需要使用这个 API 替换原来 shell-ai 中对 OpenAI API 的调用，即可让 shell-ai 了解 my_wr_gen 这个私有命令的用法。
由于 Dify 本身 API 接口定义和 OpenAI 完全不同，我们需要在 shell-ai 的源码中进行输入输出格式的适配。
具体可以分为以下步骤：
**①增加 Dify API 类型。**检查 shell-ai/main.py 源码，可以发现这一工具每次调用都会自动加载 ~/.config/shell-ai/config.json 文件中的环境配置（MacOS 下为此地址，其他系统可能有所变化）。其中有一个环境配置字段为 OPENAI_API_TYPE 用于判断使用什么类型的 OpenAI 接口，默认支持 openai 和 azure 两种设置。那我们就在这里扩展支持 Dify 的 API 类型。在原来代码的基础上，我们先增加以下代码：
1. OPENAI_API_TYPE = os.environ.get("OPENAI_API_TYPE", "openai")` `3. OPENAI_API_VERSION = os.environ.get("OPENAI_API_VERSION", "2023-05-15")` `4. if OPENAI_API_TYPE not in OpenAIOptions.__members__ and OPENAI_API_TYPE != "dify": # 新增 dify 类型校验` `5. print(` `6. f"Your OPENAI_API_TYPE is not valid. Please choose one of {OpenAIOptions.__members__}"` `7. )` `8. sys.exit(1)` `9.` `10. # ... 省略部分无关代码` `11.` `12. if OPENAI_API_TYPE == "openai":` `13. chat = ChatOpenAI(` `14. model_name=OPENAI_MODEL,` `15. n=SHAI_SUGGESTION_COUNT,` `16. openai_api_base=OPENAI_API_BASE,` `17. openai_organization=OPENAI_ORGANIZATION,` `18. openai_proxy=OPENAI_PROXY,` `19. )` `20. if OPENAI_API_TYPE == "azure":` `21. chat = AzureChatOpenAI(` `22. n=SHAI_SUGGESTION_COUNT,` `23. openai_api_base=AZURE_API_BASE,` `24. openai_api_version=OPENAI_API_VERSION,` `25. deployment_name=AZURE_DEPLOYMENT_NAME,` `26. openai_api_key=os.environ.get("OPENAI_API_KEY"),` `27. openai_api_type="azure",` `28. temperature=0,` `29. )` `30. if OPENAI_API_TYPE == "dify":` `31. chat = DifyChat() # 新增 dify 类型 chat 实例
**②封装DifyChat 类。**上面代码中，ChatOpenAI 和 AzureChatOpenAI 的定义都是来自著名 AI 开发框架 LangChain。其接口输入输出定义上是无法和 Dify API 对齐的。但得益于 LangChain 的抽象封装，shell-ai对 chat 实例的调用都收敛在 generate 方法。因此我们可以以最低成本，在 DifyChat 类中完成简单的输入对齐，即将 generate 传入入参的格式进行对齐，并传给 Dify 平台。然后在返回后完成输出响应的对齐。首先是对于 DifyChat 实现的简单封装：
2. class DifyChat:` `3. def generate(self, messages):` `4. print(messages)` `5. query = messages[0][0].content + messages[0][1].content` `6. print(query)` `7. headers = {` `8. 'Authorization': 'Bearer YOUR_DIFY_API_KEY',` `9. 'Content-Type': 'application/json',` `10. }` `11.` `12. data = {` `13. 'inputs': {},` `14. 'query': query,` `15. 'response_mode': 'blocking',` `16. 'conversation_id': '',` `17. 'user': 'abc-123'` `18. }` `19.` `20. response = requests.post('https://api.dify.ai/v1/chat-messages', headers=headers, json=data)` `21. print("Got Response from dify::" + response.text)` `22. return response
**③处理请求参数和返回结果。**上述代码中需要注意替换请求头中 Authorization 字段的 API_KEY 为自己的值。API 域名为 Dify 默认，如有私有部署的需要替换为自己域名。处理完成后，DifyChat 实例就能获取用户输入的命令诉求，并将其和 shell-ai 本身的提示词模板拼合后，转发给刚才配置的 Dify 对话机器人。当机器人返回答复后，我们还需要差异化处理返回结果如下：
23. # Extract commands from the JSON response` `32. commands = []` `33. if (OPENAI_API_TYPE == "dify"): # 针对 dify 差异化处理` `34. try:` `35. data = json.loads(response.text) # 解析 dify 返回的 json` `36. command_json = json.loads(data["answer"]) # Dify 的答复在 answer 字段中` `37. command = command_json["command"] # 对齐原有逻辑，答复内容应为一个 json，其中 command 字段为命令` `38. print(command) # 打印 dify 返回的 command` `39. if command: # 对齐原有逻辑` `40. commands.append(command)` `41. except json.JSONDecodeError:` `42. # Fallback: treat the message as a command` `43. commands.append(msg.message.content)` `44. else: # 原始逻辑` `45. for msg in response.generations[0]:` `46. try:` `47. json_content = code_parser(msg.message.content)` `48. command_json = json.loads(json_content)` `49. command = command_json.get("command", "")` `50. if command: # Ensure the command is not empty` `51. commands.append(command)` `52. except json.JSONDecodeError:` `53. # Fallback: treat the message as a command` `54. commands.append(msg.message.content)` `55.` `56. # Deduplicate commands` `57. commands = list(set(commands))
**④全局变量配置修改。**完成上述源码逻辑修改后，我们还需要在 ~/.config/shell-ai/config.json 中修改 OPENAI_API_TYPE 类型为 Dify：
24. {``58. "OPENAI_API_TYPE":"dify"``59. }
**⑤最终，我们尝试使用本地运行方式试运行 shell_ai/main.py 文件，如下图所示。**可以发现我们修改后的代码成功完成了提示词模板的拼合，将拼合结果传给了 Dify API 并获得符合期望的返回结果。shell-ai 最终成功学习到了我们的私域知识，并给出了 my_wr_gen ~/Dev/ 这个建议。
结语
在上面的实践中，我们成功让一个只能解决通用问题的社区 AI 工具学习到了私域知识。在定制通用工具的过程中，我们不止可以产出更趁手的 AI 工具，同时还能加深对 AI 领域知识的了解。
此外，在上文提到的 Dify 知识库创建中，平台会先使用文本分割技术将我们传入的技术文档分割成一个个碎片，在每次请求 OpenAI 时，会使用嵌入技术动态选择最关联的碎片，因此 OpenAI API 无法一次性获取完整地私域文档知识，进而在一定程度上保障了企业信息安全。同时无论是 Dify 还是 Shell-ai，它们的底层开发都不约而同地使用了 LangChain 这一大语言模型开发框架。
最后，我们该如何学习大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一、大模型全套的学习路线
学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。
L1级别:AI大模型时代的华丽登场
L2级别：AI大模型API应用开发工程
L3级别：大模型应用架构进阶实践
L4级别：大模型微调与私有化部署
一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
