- 博客(10)
- 收藏
- 关注
RSS订阅原创 自然语言处理（十）
自然语言处理（十）--BERT1. Transformer的原理。1.1介绍1.2.Transformer模型结构1.3 输入层,位置向量1.4 Attention模型2. BERT的原理。2.1 Bert原理2.2 BERT模型总体结构2.3 BERT模型输入2.4 BERT模型预训练任务2.4.1 Masked LM2.4.2 Next Sentence Predict...
2019-05-30 20:55:32
337
原创 自然语言处理九
Attention一、基本的Attention原理 1.1 什么是Attention？ 1.2 为什么要加入Attention 1.3 Attention的原理 二、HAN（Hierarchical Attention Networks）的原理 三、Attention实现文本分类一、基本的Attention原理1.1 什么是Attention？Attention模...
2019-05-28 21:52:31
291
原创 自然语言处理 八
1. RNN。 1.1RNN 1.2 双向RNN 1.3 LSTM 网络 1.4、GRU的结构。 1. RNN。 1.1RNN 循环神经网络，Recurrent Neural Network。神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如...
2019-05-26 20:13:45
234
原创 自然语言处理(八）
自然语言处理(八）-卷积神经网络1. 卷积运算的定义。1.1卷积网络，1.1.1数据输入层1.1.2.卷积计算层1.1.3参数共享机制1.1.4.激励层1.1.5.池化层1.1.6.全连接层2. 反卷积(tf.nn.conv2d_transpose)2. Text-CNN的原理。3. 利用Text-CNN模型来进行文本分类3.1代码片1. 卷积运算的定义。1.1卷积网络...
2019-05-24 20:28:48
277
原创 自然语言处理（六）
自然语言处理（六）1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。1.1 神经网络1.2激活函数1.2.1什么是激活函数？1.2.2 激活函数的用途（为什么需要激活函数）？1.2.3有哪些激活函数，都有什么性质和特点？2. 感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。2.1感...
2019-05-22 17:20:14
1335
原创 自然语言处理 五
自然语言处理（五）传统机器学习1. 朴素贝叶斯的原理1.1 朴素贝叶斯相关的统计学知识1.2基本定义2. 利用朴素贝叶斯模型进行文本分类2.1模型原理与训练3. SVM的原理3.1快速理解SVM原理4. 利用SVM模型进行文本分类5. pLSA、共轭先验分布；LDA主题模型原理6. 使用LDA生成主题特征，在之前特征的基础上加入主题特征进行文本分类传统机器学习1. 朴素贝...
2019-05-20 20:20:32
124
原创 自然语言处理 四
1.文本表示 1.1 one-hot编码 1.1.1sklearn实现one hot encode 1.2 word2vec得到词向量 1.文本表示1.1 one-hot编码什么是one-hot编码？one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四...
2019-05-18 16:25:43
218
原创 自然语言处理 3
特征选择TF-IDF原理以及利用其进行特征筛选 互信息的原理以及利用其进行特征筛选TF-IDF原理：如何提取一篇文章的的关键词？文章关键词：指能体现一篇文章或一部著作的中心概念的词语。指检索资料时所查内容中必须有的词语。那么查找文章关键词需要，在文章中出现次数多，且是非停用词的词，且在文章中重要程度高的词。如何衡量某个词的重要程度则为TF-IDF的重点部分，因为在文章中...
2019-05-16 17:03:25
178
原创 自然语言处理（二）
任务要求：基本文本处理技能：中英文字符串处理（删除不相关的字符、去停用词）；分词（结巴分词）；词、字符频率统计。 语言模型；unigram、bigram、trigram频率统计。 jiebe分词介绍和使用1.中英文字符串处理（删除不相关的字符、去停用词以保留相关字符方式删除不相关字符去除停用词jieba分词jieba分词有三种模式，精确模式，全模式，搜索引擎模式词...
2019-05-14 19:51:28
173
原创 自然语言处理
数据集下载探索模块：IMDB数据集（英文）和THUCNews数据集（中文）以及召回率、准确率、ROC曲线、AUC、PR曲线等基本概念的辨析1.数据集数据集：中、英文数据集各一份THUCNews中文数据集：https://pan.baidu.com/s/1hugrfRu 密码：qfudIMDB英文数据集： IMDB数据集 Sentiment Analysis2.IMDB数据集下载和探索模...
2019-05-12 19:35:09
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人