NLP
自然语言处理
对java有感觉
除了写java其他都喜欢
展开
-
torch版本_文本预处理;语言模型;循环神经网络基础
-------------------------文本预处理---------------------------#读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:...原创 2020-02-14 21:18:45 · 278 阅读 · 0 评论 -
torch版本_线性回归;Softmax与分类模型、多层感知机
-----------------------线性回归------------------------------------import torchfrom torch import nnimport numpy as nptorch.manual_seed(1)print(torch.__version__)torch.set_default_tensor_type('torc...原创 2020-02-14 21:03:23 · 307 阅读 · 0 评论 -
NLP--Attention,HAN,文本分类
1. 基本的Attention原理。参考翻译任务中的attention。1.1.我理解attention是对于每个数据进行权重划分。看一下代码就明白了。with tf.name_scope('attention'): input_shape = _outputs.shape # (batch_size, sequence_length, hidden_size) seq...原创 2019-03-22 10:15:05 · 729 阅读 · 0 评论 -
BERT学习
1. Transformer的原理。Transformer 是Seq2Seq的升级版,以前Seq2Seq encoder和decoder都是有CNN模型或者LSTM模型组成,现在就把这些模型替换成多个attention2. BERT的原理。2.1.采取新的预训练的目标函数:the “masked language model” (MLM) 随机mask输入中的一些toke...原创 2019-03-21 21:59:49 · 273 阅读 · 0 评论 -
Task6 简单神经网络
1. 文本表示:从one-hot到word2vec。one-hot :个人理解为是有0和1两位数字组成的一个向量如果为1的标示此地方就代表一个词或者字。维度自己可以根据数据量的大小定义。word2vec:是把词和字可以转换成向量的一个方法,要比one-hot好。word2vec可以标示两词语之间的相似性,one-hot就不行一个词就代表一个词。1.1 词袋模型:离散、高维、稀疏。...原创 2019-03-13 13:41:46 · 145 阅读 · 0 评论 -
CNN,RNN,CNNText,RNNText,RCNNText文本分类
1. RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题(梯度问题、长期依赖问题)、BPTT算法。其中每个圆圈可以看作是一个单元,而且每个单元做的事情也是一样的,因此可以折叠呈左半图的样子。用一句话解释RNN,就是一个单元结构重复使用。RNN是一个序列到序列的模型,假设xt−1,xt,xt+1xt−1,xt,xt+1是一个输入:“我是中国“,那么o...原创 2019-03-17 13:37:48 · 3775 阅读 · 0 评论 -
神经网络介绍,激活函数,正则化
1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。1.1 前馈网络包括一个输入层和一个输出层,若干隐单元。隐单元可以分层也可以不分层,若分层,则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数,而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。1.2网络层数是指神经网络中的层级。1.3 输入层是指神经网络中的输入参...原创 2019-03-11 20:33:12 · 683 阅读 · 0 评论 -
NLP卷积,TextCNN学习
1. 卷积运算的定义、动机(稀疏权重、参数共享、等变表示)。一维卷积运算和二维卷积运算。我对卷积的理解是 输出值=输入值*某个值如果输入值是一个一维的数据就是一维卷积。比如:输入的数据维度为8,过滤器的维度为5。卷积后输出的数据维度为8−5+1=4如果输入值是一个二维的数据就是二维卷积。比如:数据维度为14×14,过滤器大小为5×5,二者做卷积,输出的数据维度为10×10(1...原创 2019-03-14 21:16:29 · 719 阅读 · 0 评论 -
NLP-特征选择
1. TF-IDF原理。 TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency),IDF意思是逆文本频率指数(Inverse Document Frequency)。 TFIDF的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在...原创 2019-03-07 13:36:03 · 885 阅读 · 0 评论 -
GaussianNB,SVM,LDA文本分类
1. 朴素贝叶斯的原理 什么是朴素贝叶斯:贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。贝叶斯公式:P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=P(X|Y)P(Y)P(X)X:特征向量 Y:类别先验概率P(X)P(X):先验概率:是指根据以往经验和分析得到的概率。...原创 2019-03-09 21:48:26 · 732 阅读 · 0 评论 -
Datawhale《深度学习-NLP》Task1-NLP-召回率、准确率、ROC曲线、AUC、PR曲线学习理解
1.下载数据 中文数据集:THUCNews THUCNews数据子集:https://pan.baidu.com/s/1hugrfRu 密码:qfud2.基于CNN神经网络进行分类 https://github.com/gaussic/text-classification-cnn-rnnGITHUB地址 下载完成之后导入pycharm进行模型训练,此代码运行时候需...原创 2019-03-02 17:40:49 · 567 阅读 · 0 评论