ChatGPT跟踪：企业内的大模型AI场景与解决方案

主要是针对中小企业，没有能力重复造轮子，但又不想错过这次技术革新。

要求不能太冒进，又要有比较好的场景，同时预算约束，还有合规安全等要求。

基于此，我们可以先加下过滤条件：

1.过滤掉直接对客的场景

2.过滤掉不具化的场景

3.过滤掉人控占比较大（安全、合规、流程）的场景

过滤后，其实主要是员工赋能的场景，例如文档加工、商机挖掘、营销内容制作、投资研究助手、办公助手、IT研发助手、知识库专家等。

对于投资研究、办公助手、IT研发助手，不涉及敏感信息，可以采用 任务插件+OpenAI的方式。

对于商机挖掘，可以将客户信息根据内部转码规则替换，比如客户名对照表，把具体的客户名、公司名、地点，替换成对照表的别名。等OpenAI的API处理完成后，再用对照表替换为原来内容。

对于文档加工、知识库专家这种，一般涉及公司内部敏感信息，就需要用内部大模型替换掉OpenAI，采用任务插件+开源的内部大模型。虽然能力弱了点，但强调内容精准及快速索引，所以也基本能满足。

内部大模型选型方面，对于中文支持比较好且开源的就是ChatGLM-6B，目前还在研究1000亿参数的模型，不管开源还是商业至少有扩展性。facebook的OPT对中文支持弱些。

ChatGLM

THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型 (github.com)

任务插件的选型方面，对比LangChain及TaskMatrix：

LangChain中文社区

microsoft/TaskMatrix (github.com)

其中LangChain同样是中文社区，里面对各种场景都有介绍。另外也有开源的LangChain+ChatGLM项目，所以选LangChain实施起来会快很多。

imClumsyPanda/langchain-ChatGLM: langchain-ChatGLM, local knowledge based ChatGLM with langchain ｜ 基于本地知识库的 ChatGLM 问答 (github.com)

对于前面任务插件+OpenAI的选型，也可以选择LangChain。下面这个码者做了很多尝试并开源。

sugarforever (github.com)

最后的顾虑：

1. 1. 有更好的开源大模型后，原来的怎么办？    

      只能升级了。我们赌的是ChatGLM后续的千亿参数模型能推出。不然就改代码换其他的。

   2. OpenAI不能用后怎么办？

    改开源的大模型。或者国产的大模型SaaS（为什么不用facebook开源的千亿参数的opt？）