概念
是一种利用算法自动生成、操纵或合成数据的技术。
原理
chatGPT白话原理
- 单字接龙,给模型任意长度的一串文字,模型生成下一个字,然后再带回到模型中,继续得到下一个字,以此递归,自回归生成。
- 相同的上文给不同的模型会生成不同的字,模型训练就是通过大量的输入,让其学习,不断的调整模型参数,使得生成得字有逻辑。如果给定得上文,模型判断有多个可能成得字,则模型根据概率来进行抽样,抽样具有随机性,所以相同得上文得到的字是不一样的。
- 如何回答问题?通过已有的问答,让模型学习规律,当遇到没见过的问题时能根据规律给出答案。回归。不同于搜索引擎。模型不存问答数据,只是通过大量数据来调整模型。
- 搜索引擎通过查数据库来获得结果,数据库没有的结果不能响应。生成式ai可以根据已有数据总结的规律,应对之前没有遇到过的问题,但是有可能出现模型混淆,即现时中不存在的问题如果符合某些模型的规律,则也会按照规律给出结果。对于事实性问题,可能回答的胡编乱造
- 模型只能训练,而不能直接调整指定问题的输出结果,使用时可能带来不可预知的结果,存在风险。只能通过再训练模型,但是只能通过提问获取结果,可能存在矫枉过正。效率低下
大语言模型
使用的技术
GAN(生成对抗网络)、VAE(变分自编码器)和RNN(循环神经网络)
监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强等
人工智能经历的几个阶段(大模型是人工智能的新阶段)
- 规则系统 ifx then y
定义规则表达式,如常见的基于分箱的模型,专家模型 - 机器学习 f(x)=y
让计算机寻找数据的规律,一般是特定领域的应用 - 深度学习 f~(x)=y
比机器学习的范围更大,也是针对于特定领域,不具备通用性。如通过深度学习 回归得到的一个万能公式,如企业esg评分的公式,需要至少几百万的客户来训练,让模型找到数据间的规律 - 大模型fv(x)=x极强的泛化能力
模型的参数多,如chatGPT有超过100万亿个参数。具备极强的泛化能力,各种场景均适用,而不需要调整模型本身。
可能的应用场景
文心一言的技术优势参考-发布会内容
大语言模型
精通语言、
存储语言(知识的积累、产生、延续)、
自然语言处理技术、
跟各行业结合、