![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
深度胡说
机器学渣一枚,发表一些不当言论,希望可以和大家交流学习,有兴趣的加qq276594201.
展开
-
bert原理及源码的一些讨论
目录1.模型原理2 单词级任务讨论参考文献:写在前面:学习了一段时间的nlp后,感觉中文资料大多还是翻译的英文,很多东西找不到更深入的资料。最近在研究超神的bert模型,主要找到的资料也就原始的paper和英文博客。在此想把我的学到的和一些思考写一写,方便大家一起探讨学习。 做为学渣,介绍一下我学习算法的一般套路,分两步,第一步是跑通demo,理解算法的输入数据格式,输出...原创 2019-06-07 18:52:32 · 814 阅读 · 0 评论 -
语法特征?语义特征?......句子向量中的语言学特征讨论
本文主要是介绍一下WHAT YOU CAN CRAM INTO A SINGLE VECTOR: PROBING SENTENCE EMBEDDINGS FOR LINGUISTIC PROPERTIES【1】,不讨论具体的学习句子向量的模型,主要是想验证一下不同模型学习到的句子向量包含哪些语言学特征。 通过人工设计了10个与语言学特征相关的分类任务,来验证句子向量是否包含某...原创 2019-06-09 18:27:41 · 2215 阅读 · 0 评论 -
关于神经元结构的讨论-引言(一)
传统机器学习和深度学习的不同,相信大家都知道,深度学习无法解释这一痛点,限制了其在很多方面的应用。但是,现在出现了很多对深度学习的原理进行探索的文章。相对现在传统机器学习发展的阶段来说,现阶段的深度学习研究可能还处在婴幼儿时期,相信天才们会一步一步揭开深度学习的面纱。现在可以看到的探索有两方面,一种是对网路结构的[1],一种是对神经元结构的[3 ,4 ]。下面结合nlp,主要介绍以下...原创 2019-06-16 17:32:49 · 400 阅读 · 0 评论