![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp学习
Yang-Zhou
There's a lot you can do
展开
-
NLP实践四-----词袋模型 + 词向量 + word2vec
Task4 文本表示:从one-hot到word2vec (2 days)词袋模型:离散、高维、稀疏。分布式表示:连续、低维、稠密。word2vec词向量原理并实践,用来表示文本。参考:word2vec 中的数学原理详解(一)目录和前言 - peghoty - CSDN博客 https://blog.csdn.net/itplus/article/details/37969519wo...原创 2019-05-18 18:14:19 · 2402 阅读 · 0 评论 -
NLP实践七-----卷积神经网络
文章目录卷积原理卷积一维卷积二维卷积卷积核的步长padding池化textcnn原理介绍:https://www.cnblogs.com/bymo/p/9675654.html代码实践卷积原理卷积神经网络是受生物学上感受野的机制而提出。感受野(Receptive Field)主要是指听觉、视觉等神经系统中一些神经元的特性,即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中,视觉皮层...原创 2019-05-27 16:45:46 · 586 阅读 · 0 评论 -
NLP实践五-----nn基础
文章目录激活函数深度学习中的正则化深度模型中的优化1.权重初始化2.自适应学习率算法激活函数概念:激活函数是对某一个隐藏层的结点进行非线性激活操作,分为以下步骤:(1)输入该节点的值为 x1,x2 时,在进入这个隐藏节点后,会先进行一个线性变换,计算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ,上标 1 表示第 1 层隐藏层。(2)再进行一个非线性变换,也就是经过非...原创 2019-05-22 18:52:12 · 602 阅读 · 0 评论 -
NLP实践三-----特征选择
通过对句子的预处理,拿 中文来说,去标点,去停用词,分词后,我们可以表示出文本的特征了,当然这里还需要截取句子的长度,因为文本有长有短,机器学习需要输入相同长度的向量特征,然后基础的就是将文本向量化,比如每个单词出现的频数,这个的不足是可能有一些词出现的次数很高,但是它对文本的作用可能并没有那么大,那么这个时候可以考虑TF-IDF来降低这种影响。TF-IDFTF-IDF是Term Freq...原创 2019-05-15 22:15:59 · 483 阅读 · 0 评论 -
NLP实践一----数据探索
cnews 数据import sysfrom collections import Counterimport numpy as npimport tensorflow.contrib.keras as kr#读取文本def read_file(filename): contents,labels=[],[] with open(filename,mode=...原创 2019-05-11 22:06:26 · 244 阅读 · 0 评论 -
NLP实践五-----nn基础(fasttext实践)
文章目录简要原理简要原理fastText的两个任务是分类和训练词向量,传统的word2vec把语料库的每个单词当作原子的,为每个单词生成一个词向量,而fastText是对每个字符进行处理的,也就是字符级别的n_gram:参考:https://www.zhihu.com/search?type=content&q=fasttext上图表示fastText的模型架构.fastText...原创 2019-05-24 20:20:27 · 377 阅读 · 0 评论 -
NLP实践五-----朴素贝叶斯,SVM,LDA主题模型
朴素贝叶斯1. 原理朴素贝叶斯的原理是基于贝叶斯定理的,我们要求的就是后验概率P(Cj|x),这里x就是特征向量,Cj就是类别j,后验概率最大的P(Cj|x)对于的类j就是样本特征为x对于的类别,其中我认为它的假设是最影响它的分类效果的原因,这就是我们看到朴素贝叶斯在不同样本分类的效果会有很大区别,见下图:2.常见模型其实这两种常见模型的具体区别就在于P(c)和先验概率的计算不同,解...原创 2019-05-21 12:24:18 · 517 阅读 · 0 评论 -
NLP实践二----语言处理技术
基本文本处理技能:中英文字符串处理(删除不相关的字符、去停用词);分词(结巴分词);词、字符频率统计。语言模型;unigram、bigram、trigram频率统计。结巴分词介绍和使用1.中英文字符串处理#直接使用apply函数食用更佳def word_clear(s): words='' for uchar in s: # 判断是否为汉字 ...原创 2019-05-14 22:45:12 · 223 阅读 · 0 评论 -
NLP实践八-----RNN
文章目录RNN的结构RNN的结构RNN的出现主要是为了解决序列信息的,比如nlp句子单词的顺序对句子的影响很大,普通的神经网络无法处理类似的问题。下图表示循环神经网络的基本结构:描述当前状态的循环递归公式如下:这里h_t是t时刻的状态, h_{t-1}是前一时刻的状态,x_t是当前的输入。我们有的是前一时刻的状态而不是前一时刻的输入, 因为输入神经元将前一时刻的输入转换为前一时刻的状...原创 2019-05-28 18:40:01 · 354 阅读 · 0 评论