1、ChatGPT是OpenAl开发的的一种大规模预训练语言生成模型。
2、可以用来生成对话、帮助用户回答问题、写文章、翻译、编代码等。
3、OpenAl是一家人工智能研究和开发公司,成立于2015年,总部在美国。由许多知名公司和个人投资者创立。其中包括亚马逊,微软,谷歌等大型科技公司,以及伊隆·马斯克,彼得·阿特金斯等知名投资人。
4、ChatGPT的支撑是人工智能大模型。通常指的是无标注的大数据集上,采用自监督学习的方法进行训练。开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。
而当前的人工智能大多是对特定场景应用进行训练,生成的模型难以迁移到其他应用,属于“小模型”的范畴。需要大量的手工调参,还需要给机器喂养海量的标注数据,效率低成本较高。
5、ChatGPT使用的核心技术之一是Transformer,是Google于2017年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。此外,他还具有很强的跨模态能力,不仅在NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。
6、本次OpenAl在模型训练中,引入了人类专家。专家一方面帮助ChatGPT撰写更符合人类>惯的回答,另一方面,也对生成的结果进行排名,通过这样的奖励机制,实现模型的微调优。