NLP
文章平均质量分 88
洛克-李
希望往数据挖掘方向发展。学习更多,使自己越来越强大
展开
-
ChatGPT背后的模型
InstructGPT语言模型,是一个比 GPT-3 更善于遵循用户意图,同时使用通过我们的对齐研究开发的技术使它们更真实、毒性更小。InstructGPT 模型循环迭代的过程当中,加入了人类反馈进行训练。比如下面的例子:几句话向6岁的孩子解析登月可以看到,GPT-3模型的回答需要分开多个句子进行解析,这样的回答并不像人类。而InstructGPT模型的回答,在逻辑和语义通顺上,更加偏向于人类的回答。实际上,GPT-3 模型未接受过遵循用户说明的训练。原创 2023-01-02 16:51:25 · 12813 阅读 · 13 评论 -
任务执行模型ACT-1,你的贴心小管家
*ACT-1是一个大型的Transfromer模型,它能够在浏览器上执行相应的动作。**比如在Chrome浏览器上,类似于插件的形式,观察网页内容同时执行正确的动作:像点击,输入,滑动等。目前ACT-1模型还有很多不足的地方,因此创作团队还是希望它能够不断学习,争取做更多复杂的任务。它也能够执行更加复杂的任务和操作:例如可以完成在Salesforce上需要10+的点击动作的任务。不仅仅在单独软件上进行操作,ACT-1也能够协作多个不同的软件,执行给定的任务指令。值得一提的是,该团队的负责人,就是。原创 2022-10-01 10:56:42 · 924 阅读 · 0 评论 -
拥有1750亿参数的聊天机器人BlenderBot3
最近Meta已经放出了BlenderBot3聊天机器人测试页面,但仅限于美国本土进行测试和交互:一经发布,能多网友就开始和这个最强机器人进行聊天,诞生了啼笑皆非的对话。比如这个网友,询问对扎克伯格的看法。而该机器人不喜欢他,并认为“”还有的网友发现,BB3也在努力:BlenderBot3聊天机器人拥有亿参数量级。在构建的过程当中,它能够讨论任务的话题,并且在实际环境中与真实人类进行交互。这在以前的研究中是难以做到的,这是因为以前的聊天机器人只能在公开数据集上进行训练。原创 2022-09-23 17:34:16 · 2736 阅读 · 0 评论 -
自动代码Copilot背后的模型
整体来说,Codex本质上就是使用了GPT-3模型作为预训练模型,然后进行微调。同时也人工定义了164个编程问题,作为评估数据集。同时还提出了新的评估指标pass@kpass@kpass@k,并论证了BLUE指标对代码生成的局限性。从数据层面上,因为采集了Github上的代码,因此可能会存在潜在的代码作者的追究专利的问题。我是leo,欢迎关注我的公众号“算法一只狗”,我们下期再见~...原创 2022-08-27 21:09:45 · 1271 阅读 · 0 评论 -
NLP范式新变化:Prompt
最近,NLP上又开发出了一种新的范式Prompt。它通过定义模板来提醒下游任务模型学习的特定目标,在更少的更新参数场景下达到了和fine-tuning方法一样的效果。简单的来说,不同于fine-tuning方法,prompt范式需要给出一个定义好的模板,这个模板可以是离散的或者是连续的,来提醒模型在预训练的时候学习的知识。这是因为预训练的任务和下游任务往往差别较大,模型可能会存在特定性遗忘。为了使用这些模型执行预测任务,使用未填充的文本字符串promptx′x'x′,将原始输入xxx。...原创 2022-08-02 10:29:22 · 698 阅读 · 0 评论