Maxi_0902的博客

GPT-3，强大的自回归语言模型，1750亿参数的超大规模，已经初步具有通过图灵测试的潜力。文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言Open AI GPT-3最近在科技界引起轩然大波。这个巨大的语言模型看上去已经具备了一定的语言创作能力了。这篇文章就来看看GPT-3到底做了什么，有多少参数，烧了多少卡才具备这样的令人惊叹的能力。GPT-3文章的标题是《Language Models are F

GPT-2，语言模型是多任务学习器，在zero-shot setting下，这个巨大的预训练模型取得了惊人的效果，GPT-2具备语言理解能力，且具备一定的生成能力，和GPT不同，GPT-2测试了一些生成任务。

GPT，生成式预训练模型。采用生成式预训练和判别式微调框架，采用Transformer Decoder架构，极大提升了模型的自然语言理解能力。

NLP经典模型BERT，采用了双向Transformer Encoder架构，设计了MLM和NSP的预训练任务，使得模型具有双向语言建模能力，具有强大的自然语言理解能力。