![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
小白的进阶
立体视觉,机器学习,Python,搜索
展开
-
LSF-SCNN:一种基于 CNN 的短文本表达模型及相似度计算的全新优化模型
1. 摘要LSF-SCNN,即基于词汇语义特征的跳跃卷积模型 (Lexical Semantic Feature based Skip Convolution neural network ),基于卷积神经网络模型引入三种优化策略:词汇语义特征 (Lexical Semantic Feature, LSF)、跳跃卷积 (Skip Convolution, SC)和K-Max均值采样 (K-Ma...转载 2018-11-26 16:58:47 · 723 阅读 · 0 评论 -
Word2Vec的参数解释
使用Gensim训练Word2vec十分方便,训练步骤如下:1.将语料库预处理:一行一个文档或句子,将文档或句子分词(以空格分割,英文可以不用分词,英文单词之间已经由空格分割,中文预料需要使用分词工具进行分词,常见的分词工具有StandNLP、ICTCLAS、Ansj、FudanNLP、HanLP、结巴分词等);2.将原始的训练语料转化成一个sentence的迭代器,每一次迭代返回的sen...原创 2019-01-18 15:32:52 · 28471 阅读 · 4 评论 -
The Illustrated Transformer【译】
前言翻译一篇非常赞的解释Transformer的文章,原文链接。在之前的文章中,Attention成了深度学习模型中无处不在的方法,它是种帮助提升NMT(Neural Machine Translation)的翻译效果的思想。在本篇博客中,我们解析下Transformer,该模型扩展Attention来加速训练,并且在Google的NMT中表现突出。然而,其最大的好处是可并行。实际上谷歌云推...翻译 2019-01-24 15:07:36 · 934 阅读 · 0 评论 -
NLP三大特征抽取器(CNN/RNN/TF)比较:全面拥抱Transformer
作者 | 张俊林,中国中文信息学会理事,目前在新浪微博 AI Lab 担任资深算法专家。在此之前,张俊林曾经在阿里巴巴任资深技术专家,以及在百度和用友担任技术经理及技术总监等职务。同时他是技术书籍《这就是搜索引擎:核心技术详解》(该书荣获全国第十二届输出版优秀图书奖)、《大数据日知录:架构与算法》的作者。 在辞旧迎新的时刻,大家都在忙着回顾过去一年的成绩(或者在灶台前含泪数锅),并对201...转载 2019-01-25 20:10:26 · 5824 阅读 · 1 评论 -
通俗理解Word2Vec
独热编码独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。举个例子,假设我们有四个样本(行),每个样本有三个特征(列),如图:我们的feature_1有两种可能的取值,比如是男/女,这里男用1表示,女用2表示。feature_2 和feature_3各有4种取值(状态)。o...原创 2019-01-21 15:49:20 · 517 阅读 · 0 评论 -
基于Word2Vec的文本关键词抽取方法
大多数人都是将Word2Vec作为词向量的等价名词,也就是说,纯粹作为一个用来获取词向量的工具,关心模型本身的读者并不多。 可能是因为模型过于简化了,所以大家觉得这样简化的模型肯定很不准确,所以没法用,但它的副产品词向量的质量反而还不错。 没错,如果是作为语言模型来说,Word2Vec实在是太粗糙了。 但是,为什么要将它作为语言模型来看呢? 抛开语言模型的思维约束...原创 2019-02-21 19:59:49 · 12218 阅读 · 16 评论 -
BERT的通俗理解
1、预训练模型 BERT是一个预训练的模型,那么什么是预训练呢?举例子进行简单的介绍 假设已有A训练集,先用A对网络进行预训练,在A任务上学会网络参数,然后保存以备后用,当来一个新的任务B,采取相同的网络结构,网络参数初始化的时候可以加载A学习好的参数,其他的高层参数随机初始化,之后用B任务的训练数据来训练网络,当加载的参数保持不变时,称为"frozen",当加载的参数随...原创 2019-02-26 16:27:45 · 34563 阅读 · 8 评论 -
从Word Embedding到Bert模型——自然语言处理预训练技术发展史
转自:https://www.jiqizhixin.com/articles/2018-12-10-8Bert 最近很火,应该是最近最火爆的 AI 进展,网上的评价很高,那么 Bert 值得这么高的评价吗?我个人判断是值得。那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角度看一般,创新不算大。但是架不住效果太好了,基本刷新了很多 NLP 的任务的最好性能...原创 2019-02-26 16:54:47 · 921 阅读 · 0 评论 -
AttributeError: 'NoneType' object has no attribute 'update'
在运行tensorflow/TensorFlow_seq2seq_tutorial-master/translate/translate.py时出现一下错误:AttributeError: 'NoneType' object has no attribute 'update'```Traceback (most recent call last):File "/Users/mac/...原创 2019-03-19 17:53:18 · 11704 阅读 · 2 评论