NLP自然语言处理
以体系化自然语言处理学习为目标。
许进进
这个作者很懒,什么都没留下…
展开
-
Bert笔记
Bert成为自然语言处理的通用解决方案序列网络模型:seq2seq网络 核心一般用rnn传统的不足:RNN 每一项需要前一项的数据 无法加速并行训练Transformer可以transformer 取代 rnn了传统词向量不变,不会因为上下文不同而改变,这是不足,因为事实上,同一个词在不同语境中含义其实不尽相同、self attention: 一个词在编码时不仅仅考虑该词,而是会把上下文的信息也考虑进去进行编码self attention如何计算: 三个需要训练的矩阵:Q..原创 2021-04-15 17:46:58 · 4579 阅读 · 0 评论 -
NLP概述思维导图
原创 2020-11-30 22:17:43 · 6086 阅读 · 0 评论 -
自然语言处理基础
从宏观来看,gensim提供了一个发现文档语义结构的工具,通过检查词出现的频率。gensim读取语料,输出词向量。词向量可以用来训练各种分类器模型。这三个模型是理解gensim的核心概念。语料语料是指一组电子文档的集合。这个集合是gensim的输入,gensim会从这个语料中推断出它的结构,主题等。从语料中推断出的隐含结构,可以用来对一个新的文档指定一个主题。我们也把这个集合叫做训练语料。这个训练过程不需要人工参与,所以主题分类是无监督的。eg:raw_corpus = ["Hum原创 2020-11-30 22:16:50 · 4903 阅读 · 0 评论 -
Conda基本大全
# 查看conda版本conda --version# 查看conda本地已有的虚拟环境conda env list#conda 包管理的增删查该conda listconda searchpackage_name # 查询包conda install package_name # 安装此包conda install package_name=1.5.0 # 安装此包指...原创 2019-11-14 17:50:25 · 5441 阅读 · 0 评论 -
神经网络实践一 · 利用PyTorch进行气温预测
利用NN进行简单的气温预测,数据集已上传。数据集主要字段介绍:year,moth,day,week:表示的具体的时间,因为为字符格式需要进行独热编码处理 temp_2:前天的最高温度值 temp_1:昨天的最高温度值 average:历史中每年这一天的平均最高温度 actual:标签值,表示当天的真实最高温度 friend:用不到,暂不用管原始数据维度: (348, 9), 数据: year month day week temp_2 temp_1 aver...原创 2020-08-12 11:49:00 · 10647 阅读 · 5 评论 -
隐马尔科夫模型HMM基础必知
学习隐马尔科夫模型建议先阅读《写给小白看的马尔科夫链(Markov Chain)最佳入门教程》,我们知道隐马尔科夫模型中的状态序列其实就是马尔科夫链。 隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型,它在语言识别,自然语言处理,模式识别等领域应用广泛。随着目前深度学习的崛起,尤其是RNN,LSTM等神经网络序列模型的火热,HMM的地位有所下降。但是作为一个经典的模型,学习HMM的模型和对应算法,对我们解决问题建模的能力提高以及算法思路的拓展还原创 2020-08-03 14:41:48 · 5405 阅读 · 0 评论 -
写给小白看的马尔科夫链(Markov Chain)最佳入门教程
1 什么叫马尔科夫链?讲马尔可夫链不得不提到随机过程,它本身就是随机过程课本中的重要内容,犹如牛顿定律在力学中的地位。那何为随机过程呢?我们知道,人类认知世界是从运动开始的,从宏观的天体运动到微观的分子运动,它都是一个“东西”随世界变化的过程,牛顿的出现,很好地体系化地解释了我们所熟悉的大部分运动,并赋能人类能够对一些运动进行准确计算并预测运动。但是世界上仍存在大量的非确定因素的“运动”过程,之所以给给运动加引号是因为这是个概性描述,比如经典掷色子,每一次掷色子都视为一次事物的变化,归为“运动”,即随时原创 2020-07-29 21:53:44 · 19743 阅读 · 8 评论 -
What are the major open problems in natural language understanding?
I will classify the problems in Natural Language Processing into 3 categories :1. Easy or mostly solvedSpam detection Part of Speech Tagging- ExampleINPUT: Profits soared at Boeing Co., easi...转载 2019-10-06 21:35:20 · 5403 阅读 · 0 评论