OpenAI发布的ChatGPT Plugin刚刚杀死了一个创业公司LangChain(刚获得1000万美金种子轮融资)
大模型存在的问题
由于语言模型的输出是通过自回归+采样[可选]完成的,在高精度场景下,即使是超大语言模型,发生错误概率也是指数级的。同时,采样也很容易引入错误。比如地址中的数字门牌号,模型在面对0-9这样token的概率会比较接近。
大模型在推理阶段,参数是固定的,无法获取最新的数据与信息,如果问题需要实时数据的场景,没有额外输入的情况下,会无法生成有效的输出。
解决方案:通过拆解任务(Chain of Thought)实现多轮回话的方式,与真实世界的数据API与运行环境(代码解释器)进行数据交互,输出真实的结果。
开发框架:1) OpenAI 的 ChatGPT Plugin, 2) langchain(初期,并不完善)
Quick Start
语言模型:开源的ChatGLM-6B,链接:git@github.com:THUDM/ChatGLM-6B.git。
语言模型直接采用清华的开源版本,通过huggingface 的transformer 库调用,开箱即用(需要显卡)。
插件/Chain 开发框架:langchain,链接: