自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(186)
  • 资源 (1)
  • 收藏
  • 关注

原创 从不同解码策略看机器如何生成文本
原力计划

写在前面最近,由于在大规模语料集上训练的大型Transformer-based语言模型的兴起(如著名的OpenAI-GPT2模型),社区对开放式语言生成的兴趣日益增加。 GPT2、XLNet、CTRL这些开放式语言生成的结果令人印象深刻,除了得益于优化的transformer架构和大量无监督的训练数据外,更好的解码方法也发挥了重要作用。这篇文章我们简要概述了不同的解码策略,更重要的是展示了如何...

2020-04-19 14:07:59 2504

原创 更小的模型,迈向更快更环保的NLP
原力计划

写在前面越大的模型总是越好吗? 长期以来,在屠虐各大排行榜的驱动下,NLP players对此问题的答案似乎是肯定的。 从Google于2018年10月发布BERT(基本版本为1.1亿个参数)到Salesforce于2019年9月发布的CTRL(16.3亿个参数),直到微软最近发布的T-NLG(170亿个参数),语言模型规模的增长似乎势不可挡。相反地,NLP社区中也存在推动较小模型发展的趋势,...

2020-04-10 11:38:09 1488

原创 为什么BERT在商业环境碰壁?

本文首发于微信订阅号:NewBeeNLP,欢迎关注获取更多干货资源。大型基于Transformer的神经网络,例如BERT,GPT和XLNET,最近在许多NLP任务中取得了最新的成果。 这些模型的成功基于通用任务(例如语言建模)和特定下游任务之间的迁移学习, 这些模型在有标记数据的静态评估集上表现出色。 但是,在动态商业环境中部署这些模型通常会产生较差的结果。 这是因为商业环境通常是动态的,并且...

2020-04-04 15:28:57 2576

原创 算法面经分享 | 双非研究生斩获大厂offer

本文发于微信订阅号:NewBeeNLP,欢迎关注获取更多干货资源。面试锦囊之面经分享系列,持续更新中PS. 配合今日第二篇文章使用更佳,知己知彼写在前面双非,本科研究生一个学校。岗位:NLP。无实习,一篇中文核心,三个水比赛top10。收到offer:阿里,百度,顺丰。只说面试。实习:面了 追一,百度,阿里,创邻科技,随手科技,x-order,商汤,CVTE,大众,京东数科,深信服。...

2020-04-03 14:33:13 2041

原创 关于逻辑回归,面试官们都怎么问

本文发于微信订阅号:NewBeeNLP,欢迎关注获取更多干货资源。「面试官们都怎么问」系列文章主旨是尽可能完整全面地整理ML/DL/NLP相关知识点,不管是刚入门的新手、准备面试的同学或是温故知新的前辈,我们希望都能通过这一系列的文章收获到或多或少的帮助一. 一句话概括逻辑回归逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。这句话...

2020-04-03 14:27:01 1766

原创 头条+腾讯 双杀面经(NLP实习)

本文发于微信公众号:NewBeeNLP,欢迎关注获取更多干货资源。面试锦囊之面经分享系列,持续更新中。订阅后台回复"面试",即可加入AI&NLP算法面试交流群。先说一下背景:本科双非,硕士211,没论文,一段半年的大厂NLP实习,3个TOP5 NLP比赛,1个两位数的数据挖掘比赛。字节跳动1面: 60分钟实习,难点,收获,怎么解决XGBOOST ,LGB,GBDT 的区别...

2020-04-01 11:37:03 777

原创 BART原理简介与代码实战
原力计划

写在前面最近huggingface的transformer库,增加了BART模型,Bart是该库中最早的Seq2Seq模型之一,在文本生成任务,例如抽象总结方面达到了SOTA的结果。本次放出了三组不同的预训练权重:bart-large:基础预训练模型;bart-large-cnn:基础模型在 CNN/Daily Mail Abstractive Summarization Task微调...

2020-03-27 21:53:46 3051 2

原创 业务,工程和算法的互殴现场

本文发于微信公众号:NewBeeNLP,欢迎关注获取更多干货资源。事情是这样的…小陈所在的团队每周的周一,周三,周五都会在晚上法定下班时间后(此处要打码?)做一个一小时的技术分享。一天,正当小陈津津有味的听同事唾沫横飞的讲解一个模型时,老刘突然神色慌张地闯进会议室,满面通红的对小陈说,“快点儿快点儿,你的模型5XX了,快去看看吧。”小陈飞奔出去。在从会议室飞奔到自己工位的路上,思绪纷飞,...

2020-03-22 14:47:04 1132

原创 站在BERT肩膀上的NLP新秀们(PART III)

MT-DNN from Microsoft MT-DNN-2 from Microsoft GPT-2 from OpenAI VideoBERT from Google

2019-06-13 10:59:56 11628

原创 站在BERT肩膀上的NLP新秀们(PART II)

写在前面在前一篇站在BERT肩膀上的NLP新秀们(PART I)介绍了两个都叫ERNIE的模型,思路也挺相似的,都是给bert模型增加外部知识信息,使其能更好地“感知“真实世界。今天我们来看看另外几个有意思的BERT新秀: XLMs from Facebook MASS from Microsoft UNILM from Microsoft1、Cross-lingual Langua...

2019-06-05 21:45:01 11754 2

原创 BERT模型实战之多文本分类(附源码)

写在前面BERT模型也出来很久了,之前看了论文学习过它的大致模型(可以参考前些日子写的笔记NLP大杀器BERT模型解读),但是一直有杂七杂八的事拖着没有具体去实现过真实效果如何。今天就趁机来动手写一写实战,顺便复现一下之前的内容。这篇文章的内容还是以比较简单文本分类任务入手,数据集选取的是新浪新闻cnews,包括了[‘体育’, ‘财经’, ‘房产’, ‘家居’, ‘教育’, ‘科技’, ‘时尚’...

2019-03-21 11:00:36 44244 206

原创 NLP大杀器BERT模型解读

写在前面谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果,这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型,再分别在不同的下游任务上微调,这样的模型在不同的任务均得到了目前为止最好的结果,并且有一些结果相比此前的最佳成绩得到了幅度不小的提升。但是如此好的效果并不是随便突然的一个凭空出现的想法导致的,而是作者结合NLP最近几年表现优异...

2018-11-12 19:41:29 4571 3

转载 "算法"于招聘:一位算法工程师的深度思考

作者|栗子@知乎原文|文末『阅读原文』处整理|NewBeeNLP公众号今年因为疫情,很多事都发生了变化,也需要大家去"拥抱变化"。(希望有人能接住这个梗哈哈...

2020-11-24 11:59:00 5

原创 BERT微调效果不佳?不如试试这种大规模预训练模型新范式

BERT模型自发布至今已整整两年了,但是其余热仍未消减。从一经问世的轰动,简单应用/微调便可达到某个领域或者任务的SOTA效果;到如今的各种『被吊打』,BERT巨人肩膀上的新宠大致可以分...

2020-11-23 11:59:00 18

转载 聊聊工业界做机器学习的里程碑

文 | 吴海波编 | YY阅读说明,本文的机器学习领域限制于互联网搜索、推荐、广告场景,仅限于个人观点。2017年,我和团队的几个核心去了趟北京,找了各大互联网公司一线实战的同学,交流各...

2020-11-22 11:59:00 26

转载 腾讯自然语言处理实习面经

原创 · 作者 |ink个人简介 | 985硕士,研究方向自然语言处理面试锦囊之面经分享系列,持续更新中另外,我们建立了面试内推、自然语言处理的讨论组,欢迎大家加入讨论(人数达到上限...

2020-11-22 11:59:00 23

转载 福利 | 火遍日本 IT 界的「鱼书」终出续作,原来进阶深度学习竟然那么简单

在日本,有一本书在 AI 领域的影响力超越了实力派的“花书”,长期位列日亚“人工智能”类图书榜首,众多五星好评。它被众多高校名师作为 AI 入门教材,如果你也是 AI 领域的开发者,说不...

2020-11-20 11:59:00 28

原创 四万字全面详解 | 深度学习中的注意力机制(三)

NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎|蘑菇先生学习记深度学习Attenion小综述系列:四万字全面详解 | 深度学习中的注意力机制(一)四万字全面详解 |...

2020-11-19 11:59:00 28

原创 实战必备!文本分类中的一些经验和 tricks

NewBeeNLP公众号原创出品公众号专栏作者@wulc作者是字节跳动广告算法工程师,个人blog: http://wulc.me所在团队长期招人,欢迎感兴趣的同学来撩~最近在总结...

2020-11-18 11:59:00 52

转载 训练时间和参数量百倍降低,直接使用标签进行预测,性能竟超GNN

作者|Qian Huang等来源|机器之心整理|NewBeeNLP图神经网络(GNN)是图学习方面的主要技术。但是我们对 GNN 成功的奥秘以及它们对于优秀性能是否必然知之...

2020-11-17 11:59:00 10

转载 图卷积神经网络理论基础

Graph Convolutional Networks图卷积网络涉及到两个重要的概念,Graph和Convolution。传统的卷积主要应用于Euclidean Structure的数...

2020-11-17 11:59:00 30

原创 什么?!听说你还没看过Transformer源码

NewBeeNLP公众号原创出品公众号专栏作者@山竹小果Transformer的相关文章现在已经满天飞了,但是配合代码一起讲解的不多。本文基于PaddlePaddle 1.7版本,解析...

2020-11-16 11:59:00 30 1

转载 Awesome!超详细的人工智能专家路线图,GitHub数天获2.1k星

作者|AMAIGmbH来源|机器之心整理|NewBeeNLP好久不见!我们的github超赞分享环节又来啦 这是一家德国软件公司 AMAI GmbH 近期发布的 Git...

2020-11-13 20:59:00 24

原创 四万字全面详解 | 深度学习中的注意力机制(二)

NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎|蘑菇先生学习记前情提要:四万字全面详解 | 深度学习中的注意力机制目前深度学习中热点之一就是注意力机制(Attenti...

2020-11-12 11:59:00 55

转载 ICLR 2021投稿中值得一读的NLP相关论文

来源|香侬科技我们从ICLR 2021开放投稿的3000篇论文中,粗略筛选了近100篇与自然语言处理领域中也许值得一读的论文,供大家查阅。理论、模型与经验性分析:38篇问答与阅读...

2020-11-11 11:59:00 104

转载 重磅整理!推荐系统之深度召回模型综述(PART II)

NewBeeNLP原创出品公众号专栏作者@一块小蛋糕知乎|推荐系统小筑前情提要:重磅整理!推荐系统之深度召回模型综述(PART I)最近读完了李航、何向南的《Deep learnin...

2020-11-10 11:59:00 240

原创 我从吴恩达AI For Everyone中学到的十个重要AI观

写在前面在这个人机共存的年代,每个人都应该去尝试了解并运用人工智慧这个超能力,思考自己未来在这个变化快速的世界的定位曾经领导Google Brain 的吴恩达教授公开的Coursera...

2020-11-07 11:59:00 145

原创 四万字全面详解 | 深度学习中的注意力机制

NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎|蘑菇先生学习记目前深度学习中热点之一就是注意力机制(Attention Mechanisms)。Attention源于人类视...

2020-11-06 11:59:00 69

原创 2021秋招算法面经集合 | 华为、百度、腾讯、美团等

NewBeeNLP原创出品作者|祈祷落幕时面试锦囊之面经分享系列,持续更新中欢迎后台回复"面试"加入讨论组交流噢写在前面秋招告一段落,整理文件的时候发现之前记录...

2020-11-05 11:59:00 70

转载 21页优雅读博指南,入坑前必读

作者| EricGilbert原文| 见文末『阅读原文』处来源| 机器之心每年 6 周自由休假时间,就这一点,我慕了。读博是一个充实又有意义的过程。博士阶段的研究任务比较繁重,因...

2020-11-04 11:59:00 106 1

原创 LINE:不得不看的大规模信息网络嵌入

NewBeeNLP原创出品作者|kaiyuan和DeepWalk一样,今天介绍的论文同样是做网络嵌入表示的,但还是有很大区别的。关于DeepWalk,我们已经在之前文章介绍,戳:D...

2020-11-03 11:30:00 160

原创 【思考】电商问答系统的产品侧讨论

NewBeeNLP原创出品公众号专栏作者@zhpmatrixblog |https://zhpmatrix.github.io/今天,来和大家聊聊NLP最火的智能客服赛道。由于...

2020-11-02 10:59:00 409

转载 Python 3.9来啦!细数十个值得关注的新特性

作者| Farhad Malik原文| 见文末『阅读原文』处来源| 机器之心整理|NewBeeNLP公众号Python 3.9 已于 10 月 5 日发布,新版本的特性,你 g...

2020-11-01 11:59:00 22

转载 最受欢迎AI霸榜书最新版来了!快速入门机器学习!文末赠书

传说中的机器学习“四大名著”中最适合入门的一本——“蜥蜴书”新版来了!这本书的英文原版是美国亚马逊AI霸榜图书,在人工智能、计算机神经网络、计算机视觉和模式识别三大榜单中,均为榜首!国内...

2020-10-30 11:59:00 23

原创 重磅整理!推荐系统之深度召回模型综述(PART I)

NewBeeNLP原创出品公众号专栏作者@一块小蛋糕知乎|推荐系统小筑最近读完了李航、何向南的《Deep learning for matching in search and Re...

2020-10-29 10:59:00 73

原创 曲线救国 | 双非"渣硕"的秋招路

NewBeeNLP原创出品作者|带带大兄弟面试锦囊之面经分享系列,持续更新中欢迎后台回复"面试"加入讨论组交流噢写在前面双非渣硕,0实习,3篇水文,三个给老板当打...

2020-10-27 10:59:00 28

原创 微软ALUM:当语言模型遇到对抗训练

NewBeeNLP原创出品公众号专栏作者@山竹小果今天分享来自微软最近关于语言模型和对抗训练的工作:论文:Adversarial Training for Large Neural L...

2020-10-26 10:59:00 28

转载 我从高级开发者身上学到的19条编码原则

作者| Daniel Anderson原文 | 见文末『阅读原文』处编译 | 机器之心整理|NewBeeNLP公众号『在代码中用一堆嵌套,花大量时间写出漂亮的代码但最后才发现无法运...

2020-10-25 11:59:00 70

转载 1024程序员节,当当4折购书优惠码,抢!

1024程序员节当当网计算机图书大促每满100减50!满200减100!满300减150!满400减200!……机械工业出版社华章公司联合当当网特意申请了一批可与满减叠加使用的“满20...

2020-10-23 10:59:00 64

原创 论文自由,EMNLP2020论文打包收藏!

写在前面还记得之前我们分享过的ACL2020论文全集吗,论文自由,ACL2020论文打包收藏!网盘可能对文件数量有限制,链接一直失效。考虑到不时还是会有小伙伴问链接的情况,这次干脆就上传...

2020-10-21 10:59:00 156 2

ACL2020论文大全|ACL2020.zip

ACL2020顶会论文打包下载,摘要必须大于50字,怎么还没到50字,我真的不知道说什么了,现在大概快到50字了吧,到了吗

2020-09-27

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除