自然语言处理
文章平均质量分 81
Alice熹爱学习
做个终身学习者,持续迭代;公众号-极客X养成计划;简书-不会停的蜗牛
展开
-
CS224d-Day 5: RNN快速入门
CS224d-Day 5: 什么是RNN本文结构:1.什么是 RNN?和NN的区别?2.RNN 能做什么?为什么要用 RNN?3.RNN 怎么工作的?4.RNN 基本模型存在某些问题?5.GRU 和 LSTM 是什么?1.什么是 RNN?和NN的区别?RNN-(Recurrent Neural Networks):循环神经网络传统的神经网络模型,它是有向无环的,就是在隐藏层中各个神经元之原创 2017-05-01 11:59:58 · 1516 阅读 · 0 评论 -
深度学习与自然语言处理 主要概念一览
CS224d-Day 1:要开始系统地学习 NLP 课程 cs224d,今天先来一个课程概览。 课程一共有16节,先对每一节中提到的模型,算法,工具有个总体的认识,知道都有什么,以及它们可以做些什么事情。简介:1. Intro to NLP and Deep Learning NLP:Natural Language Processing (自然语言处理)的目的,就是让计算机能‘懂得’人类对原创 2017-05-14 01:13:34 · 2454 阅读 · 1 评论 -
如何自动生成文本摘要
学习资料: https://www.youtube.com/watch?v=ogrJaOIuBx4&list=PL2-dafEMk2A7YdKv4XfKpfbTH5z6rEEj3&index=19 代码: https://github.com/llSourcell/How_to_make_a_text_summarizer/blob/master/vocabulary-embedding.ip原创 2017-05-26 12:01:23 · 16662 阅读 · 8 评论 -
用 Doc2Vec 得到文档/段落/句子的向量表达
本文结构:Doc2Vec 有什么用两种实现方法用 Gensim 训练 Doc2VecDoc2Vec 或者叫做 paragraph2vec, sentence embeddings,是一种非监督式算法,可以获得 sentences/paragraphs/documents 的向量表达,是 word2vec 的拓展。学出来的向量可以通过计算距离来找 sentences/paragraphs/do原创 2017-07-14 10:13:44 · 28381 阅读 · 4 评论 -
双向 LSTM
本文结构:为什么用双向 LSTM什么是双向 LSTM例子为什么用双向 LSTM?单向的 RNN,是根据前面的信息推出后面的,但有时候只看前面的词是不够的, 例如,我今天不舒服,我打算__一天。只根据‘不舒服‘,可能推出我打算‘去医院‘,‘睡觉‘,‘请假‘等等,但如果加上后面的‘一天‘,能选择的范围就变小了,‘去医院‘这种就不能选了,而‘请假‘‘休息‘之类的被选择概率就会更大。什么是双向 L原创 2017-08-11 11:35:45 · 27215 阅读 · 2 评论 -
一个 tflearn 情感分析小例子
学习资料: https://www.youtube.com/watch?v=si8zZHkufRY&list=PL2-dafEMk2A7YdKv4XfKpfbTH5z6rEEj3&index=5情感分析, 就是要识别出用户对一件事一个物或一个人的看法、态度,比如一个电影的评论,一个商品的评价,一次体验的感想等等。根据对带有情感色彩的主观性文本进行分析,识别出用户的态度,是喜欢,讨厌,还是中立。关原创 2017-07-27 10:51:50 · 9688 阅读 · 5 评论 -
attention 机制入门
在下面这两篇文章中都有提到 attention 机制: 使聊天机器人的对话更有营养 如何自动生成文章摘要今天来看看 attention 是什么。下面这篇论文算是在NLP中第一个使用attention机制的工作。他们把attention机制用到了神经网络机器翻译(NMT)上,NMT其实就是一个典型的sequence to sequence模型,也就是一个encoder to decoder模型原创 2017-07-28 22:53:31 · 11636 阅读 · 0 评论 -
AI 在 marketing 上的应用
AI 在 marketing 中有很多应用,例如 搜索,推荐系统,程序化广告,市场预测,语音/文本识别(会话商务),防欺诈,网页设计,商品定价,聊天机器人等。其中很重要的一个部分叫 audience target,AI 可以应用在这里,可以对顾客和顾客的需求进行精准的定位,找到前20%最有价值的客户,预测顾客下一次会买什么东西,这样可以减少时间金钱等资源的消耗。另一个应用是内容生成,输...翻译 2018-05-28 07:15:47 · 2888 阅读 · 0 评论 -
如何应用 BERT :Bidirectional Encoder Representations from Transformers
上一篇文章介绍了 Google 最新的BERT (Bidirectional Encoder Representations from Transformers) ,这个模型在 11 个 NLP 任务上刷新了纪录。Google 还开源了 BERT 的代码:https://github.com/google-research/bert大家可以下载在维基百科语料上使用 TPU 预训练好的模型,包括...原创 2018-11-23 20:45:36 · 2377 阅读 · 0 评论 -
5 分钟入门 Google 最强NLP模型:BERT
BERT (Bidirectional Encoder Representations from Transformers)10月11日,Google AI Language 发布了论文BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding提出的 BERT 模型在 11 个 NLP 任务...原创 2018-11-23 20:46:53 · 7270 阅读 · 1 评论 -
word2vec 模型思想和代码实现
CS224d-Day 3:word2vec原创 2016-08-24 11:11:47 · 2270 阅读 · 1 评论 -
怎样做情感分析
本文结构:什么是情感分析?怎么分析,技术上如何实现?原创 2016-08-27 11:59:35 · 2177 阅读 · 0 评论 -
怎样做情感分析
本文结构:什么是情感分析?怎么分析,技术上如何实现?cs224d Day 7: 项目2-命名实体识别2016课程地址 项目描述地址什么是情感分析?就是要识别出用户对一件事一个物或一个人的看法、态度,比如一个电影的评论,一个商品的评价,一次体验的感想等等。根据对带有情感色彩的主观性文本进行分析,识别出用户的态度,是喜欢,讨厌,还是中立。在实际生活中有很多应用,例如通过对 Twitter 用户的原创 2017-05-01 12:21:31 · 2366 阅读 · 0 评论 -
用深度神经网络处理NER命名实体识别问题
本文结构:什么是命名实体识别(NER)怎么识别?cs224d Day 7: 项目2-用DNN处理NER问题 课程项目描述地址什么是NER?命名实体识别(NER)是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具,作为结构化信息提取的重要步骤。摘自BosonNLP怎么识别?先把解决问题的逻辑说一原创 2017-05-01 12:22:12 · 5829 阅读 · 0 评论 -
用 RNN 训练语言模型生成文本
本文结构:什么是 Language Model?怎么实现?怎么应用?cs224d Day 8: 项目2-用 RNN 建立 Language Model 生成文本 课程项目描述地址。什么是 Language Model?Language Model 是 NLP 的基础,是语音识别, 机器翻译等很多NLP任务的核心。参考:实际上是一个概率分布模型 P ,对于语言里的每一个字符串 S 给出一个概率原创 2017-05-01 12:23:03 · 8078 阅读 · 1 评论 -
RNN与机器翻译
CS224d-Day 9: GRUs and LSTMs – for machine translation 视频链接 课件链接本文结构: - 机器翻译系统整体的认识 - 什么是 parallel corpora - 三个模块 - 各模块有什么难点RNN 模型 最简单的 RNN 模型扩展模型GRU:LSTM下面是video的笔记:1.机器翻译机器翻译是NLP问原创 2017-05-01 12:23:42 · 6535 阅读 · 2 评论 -
用 Recursive Neural Networks 得到分析树
CS224d-Day 10: Recursive neural networks – for parsing 课程链接 视频链接 课件链接本文结构:Recursive NN 是什么Recursive Neural Networks 和 Recurrent Neural NetworksRecursive NN 可以用来做什么怎样做到的算法代码Recursive NN 是什么Re原创 2017-05-01 12:24:15 · 3129 阅读 · 2 评论 -
RNN的高级应用
本文结构:四个问题每个问题是什么应用什么模型模型效果CS224d-Day 11: Recursive neural networks – for different tasks (e.g. sentiment analysis) 课程链接 视频链接 课件链接四个问题这次课主要讲了标准的 Recursive neural networks 模型及其扩展模型在3个问题上的应用和效果,最原创 2017-05-02 11:20:03 · 2462 阅读 · 1 评论 -
一个隐马尔科夫模型的应用实例:中文分词
什么问题用HMM解决现实生活中有这样一类随机现象,在已知现在情况的条件下,未来时刻的情况只与现在有关,而与遥远的过去并无直接关系。比如天气预测,如果我们知道“晴天,多云,雨天”之间的转换概率,那么如果今天是晴天,我们就可以推断出明天是各种天气的概率,接着后天的天气可以由明天的进行计算。这类问题可以用 Markov 模型来描述。进一步,如果我们并不知道今天的天气属于什么状况,我们只知道今明后三天的水藻原创 2017-05-02 11:22:01 · 2492 阅读 · 1 评论 -
深度学习的主要应用举例
参考资料今天简单说一下 Deep Leaning 在各领域应用的几个例子,可以轻松地看一下它是怎么用在 Computer Vision,Speech Recognition, Text Processing, Medical, Finance, Advertising 等领域的。Computer VisionImage Classification 图片识别例如下面这个网站:https://www.原创 2017-05-01 12:13:36 · 27707 阅读 · 1 评论 -
word2vec 模型思想和代码实现
CS224d-Day 3:word2vec 有两个模型,CBOW 和 Skip-Gram,今天先讲 Skip-Gram 的算法和实现。课件: https://web.archive.org/web/20160311161826/http://cs224d.stanford.edu/lecture_notes/LectureNotes1.pdfSkip-Gram 能达到什么效果?比如词库里有这么一句原创 2017-05-01 12:20:58 · 1961 阅读 · 0 评论 -
图解什么是 Transformer
Transformer 是 Google 团队在 17 年 6 月提出的 NLP 经典之作,由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。Transformer 在机器翻译任务上的表现超过了 RNN,CNN,只用 encoder-decoder 和 attention 机制就能达到很好的效果,最大的优点是可以高效...原创 2019-01-10 15:09:09 · 1243 阅读 · 0 评论