自然语言处理
朝花夕拾,谈一地毛线。~
这个作者很懒,什么都没留下…
展开
-
transformer-xl
transform有长程依赖关系,受到语言建模上下文长度的固定的限制提出transformer-xl 超越固定长度原创 2021-01-25 13:39:19 · 186 阅读 · 0 评论 -
HMM模型
1. 隐马尔可夫模型的结构信息隐马尔可夫模型中的变量可以分为两组,第一组是状态变量{y1,y2,…,yn},,其中yi∈y表示第i时刻的系统状态,通常假定状态变量是隐藏的、不可被观测的,因此状态变量也被称为隐变量。第二组是观测变量{x1,x2,…,xn},其中xi∈x 表示第i时刻的观测值,如下图所示:模型的图结构看起来有点类似于我们熟知的RNN模型。图中的箭头表示变量之间的依赖关系。在任意时刻,观测变量的取值仅依赖于状态变量,与其他状态变量和观测变量的取值无关。同时,t时刻的状态仅依赖于t−1时刻的原创 2020-12-08 11:14:25 · 156 阅读 · 0 评论 -
nlp对语言进行可解释化
用nlp高效解析语言文字tf-idf相关语言模型神经网络语言模型bert的结构masked lmTransformertf-idf用来支持文本表征的抽取和预测,比如one-hot将各个词变成一个向量,喜欢(001)、不喜欢(010)、很喜欢(011)等,使用这些向量来作为预测和训练的语料,运算结束后再解码为具体的词句,由于特征的维度特别高,tf-idf基于词频来统计文本表征的算法可以表示为tfij=nij/∑1≤k≤j≤nnkj tf_{ij}=n_{ij}/\sum_{\mathclap{1\l原创 2020-09-22 10:52:17 · 378 阅读 · 0 评论