数据开源 | Magic Data开源基于ChatGPT的可扩展的对话数据集

在过去的一月里，人工智能领域中最火的话题莫过"ChatGPT"。ChatGPT是OpenAI于11月30日发布最新作品聊天机器人，开放公众免费测试。聊天机器人是一种软件应用程序，根据用户的提问做出回应、模仿人类的对话方式。目前，ChatGPT的用户量已经超过一百万。它既能完成包括写代码，修bug（代码改错），翻译文献，写小说，写商业文案，创作菜谱，做作业，评价作业等一系列常见文字输出型任务，而且在和用户对话时，能记住对话的上下文，反应非常逼真。连马斯克都在推特上称赞道，“ChatGPT真是惊人的好。我们离危险的强大人工智能不远了”： 

甚至有人传言下一代GPT4可能可以取代Google、百度等传统搜索引擎。让世界科技大佬都称赞的ChatGPT，到底是如何对答如流的呢？

ChatGPT技术框架

据OpenAI报道，ChatGPT模型是“从人类反馈中强化学习”(RLHF)的机器学习技术训练的。RLHF可以模拟对话，回答衍生问题，承认错误，质疑不正确的前提，并且拒绝不适当的请求。其底层结构仍然是基于自我注意力机制（self-attention）的transform