2019年05月_sherpahu

12月 11月 10月 09月 08月 07月 06月 05月 03月

原创 NLP系列 10. BERT

Transformer的原理BERT的算法来自谷歌的另一篇论文：https://arxiv.org/abs/1706.03762 。完全抛弃了RNN、CNN，而提出了另外一种新的网络结构：Transformer。Transformer现在是谷歌云TPU推荐的参考模型。Transformer由encoder和decoder组成，encoder、decoder分别由一些编码器和解码器构成。编码器...

2019-05-30 19:42:16 212

原创 NLP系列 9. Attention机制

Attention机制介绍之前做项目时同组大佬用到过Attention机制，Attention机制对模型能够有一定的提升作用。人在看一张图片一篇文章时，不会对所有部分都投入同样的注意力，而是有所侧重。所谓侧重就是赋予不同的权重。Attention定义Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制。Attention机制...

2019-05-28 15:07:28 267

原创 NLP系列 8. 循环神经网络（RNN）

RNN提出背景人的记忆原理也是与当前输入和之前的输入有关的。每个预测的结果都会放到下一个输入里进行运算,与下一次的输入一起来生成下一次的结果。听到一句话“我来找你”，是在没听到一个字或词的时候大脑都会结合之前听到的和现在听到的组合起来，形成语句的理解。下面这种网络与我们的大脑对语句的理解过程很相似。RNN定义循环神经网络，Recurrent Neural Network。神经网络是一种...

2019-05-26 16:46:35 1069

原创 NLP系列 7. 卷积神经网络

卷积运算定义：卷积是两个变量在某范围内相乘后求和的结果。称(f∗g)(x)(f*g)(x)(f∗g)(x)为f，g的卷积。连续的卷积定义为：(f∗g)(n)=∫−∞+∞f(τ)g(n−τ)(f*g)(n)=\int_{-\infty}^{+\infty}f(\tau)g(n-\tau)(f∗g)(n)=∫−∞+∞f(τ)g(n−τ)离散的卷积定义为：(f∗g)(n)=∑r=−∞+∞f(...

2019-05-23 19:08:18 655

原创 NLP系列 6. 神经网络基础

神经网络中的基础概念前馈神经网络：前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。输入层：神经网络的第一层。它接收输入信号（值）并将其传递至下一层，但不对输入值执行任何运算。它没有自己的权重值和偏置值。隐藏层：隐藏层的神经元（节点）通过不同方式转换输入数据。一个隐藏层是一个垂直堆栈的神经元集。输...

2019-05-22 17:33:21 325

原创 NLP系列 5. 朴素贝叶斯、SVM、LDA主题模型

朴素贝叶斯贝叶斯公式概率统计中学过了贝叶斯定理的数学表示P(A∣B)=P(A)P(B∣A)P(B)P(A|B)=\frac{P(A)P(B|A)}{P(B)}P(A∣B)=P(B)P(A)P(B∣A)用一个例子来说明朴素贝叶斯里面的概念：假设现在有一个劣质酒精测试仪，会有5%的概率把没有喝酒的司机认定为醉酒，但会100%识别出醉酒的司机。比如说1000个司机里面有1个人是醉驾，但是会有...

2019-05-20 21:10:09 910

原创 NLP系列 4. 文本表示

词袋模型——离散、高维、稀疏分布式表示——连续、低维、稠密word2vec词向量原理及实践

2019-05-17 20:04:45 435

原创 NLP系列 3. 特征选择——TF-IDF原理以及利用其进行特征筛选

TF-IDF原理以及利用其进行特征筛选原理TF-IDF即term frequency - inverse document frequency, 词频-逆文本频率TF词频: 容易理解, 频率高能够在一定程度上反应该词的重要性.IDF逆文本频率: 若某一个词在所有文本中都出现, 或出现的频率过高, 则也有可能是虚词这种重要性不高却频率很高的词, 此时单纯依靠词频来判断词的重要性就不可靠了. ...

2019-05-15 21:07:14 2064

原创 NLP系列 2.特征提取

1. 基本文本处理技能1.1 中英文字符串处理1.1.1 删除不相关的字符去除字符串两端字符串:s=' ,,,abc,,, 'print(s.strip())# 删除两边空字符print(s.lstrip())# 删除左边空字符print(s.rstrip())# 删除右边空字符print(s.strip().strip(','))# 删除指定字符,,,abc,,,...

2019-05-14 20:44:59 1099

原创 NLP系列 1. IMDB和THUCNews数据集数据集的探索

IMDB加载数据集由keras直接加载.imdb = keras.datasets.imdb(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)遇到报错:ValueError: Object arrays cannot be loaded when allow_pic...

2019-05-11 20:06:52 797

原创 ubuntu深度学习环境配置踩坑记

安装Ubuntu可以参考以下链接，但是还会有后面所述很多小问题，可以不妨先看完再开始装ubuntuhttps://blog.csdn.net/flyyufenfei/article/details/79187656开机卡死、关机卡死、登陆界面卡死这个问题是有集显独显双显卡的笔记本都会碰到的问题，尤其是有英伟达显卡的情况。主要是因为ubuntu不会主动使用英伟达的闭源驱动，而使用的是核显的...

2019-05-03 22:36:20 3463 2