dl
文章平均质量分 93
alwayschasing
这个作者很懒,什么都没留下…
展开
-
Restricted Boltzman Machines for Collaborative Filtering
限制玻尔兹曼机原理原创 2016-06-14 20:55:00 · 411 阅读 · 0 评论 -
谷歌BERT 学习
最近谷歌放了个大招,开源了他们最新的自然语言模型BERT,正好手头有个文本分类的任务,打算拿来用用,特此记录一下学习过程,如果错误,还望指正。论文地址:https://arxiv.org/abs/1810.04805开源github地址:https://github.com/google-research/bert摘要BERT(怎么读随便),其实是Bidirectional Encoder...原创 2018-11-13 20:36:59 · 682 阅读 · 0 评论 -
GELU 激活函数
Gaussian Error Linerar Units(GELUS)论文链接:https://arxiv.org/abs/1606.08415最近在看bert源码,发现里边的激活函数不是Relu等常见的函数,是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。不管其他领域的鄙视链,在激活函数领域,大家公式的鄙视链应该是:Elus > Relu > Sigmoid ...原创 2020-04-16 18:15:53 · 86818 阅读 · 19 评论