NLP
jcsyl_mshot
点滴生活,水落石出。
展开
-
word2vec 介绍
1.背景在NLP中,传统算法通常使用one-hot形式表示一个词,存在以下问题:1)维度爆炸,词表通常会非常大,导致词向量维度也会非常大。2)损失语义信息,one hot随机给每个词语进行编号映射,无法表示词语之间的关系。所以word embeding的优势如下:1)将词语映射成一个固定维度的向量,节省空间。2)词向量可能会具备一定的语义信息,将相似的词语放到相近的向量空间...原创 2018-06-12 22:23:22 · 4631 阅读 · 0 评论 -
朴素贝叶斯
1. 概念朴素贝叶斯是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出 的联合概率分布;然后基于此模型,对于给定输入xxx,利用贝叶斯定理求出后验概率最大的输出 yyy.2. 基本方法使用朴素贝叶斯法分类时,对给定的输入x,我们想知道其属于ckckc_k的概率,即: P(Y=ck|X=x)=P(Y=ck|X(1)=x(1),....原创 2018-06-19 10:33:13 · 314 阅读 · 0 评论 -
感知机
1. 概念感知机是一个二类分类的线性分类模型。所谓二类分类就是它只能将实例分为正类和负类两个类别。那么为什么是线性分类模型呢,我的理解是感知机学习旨在求出可以将数据进行划分的分离超平面,而分离超平面的方程: w⋅x+b=0 为线性方程,所以感知机为线性分类模型。2. 感知机模型模型如下图所示: 圈圈表示正类,而叉叉表示负类。圈圈与叉叉之间的直线即上文所说的分离超平...原创 2018-06-17 17:25:28 · 322 阅读 · 0 评论 -
LSTM系列的梯度问题
1.前沿本文主要围绕NN、RNN、LSTM和GRU,讨论后向传播中所存在的梯度问题,以及解决方法,力求深入浅出。2.神经网络开始神经网络包括前向过程和后向过程,前向过程定义网络结构,后向过程对网络进行训练(也就是优化参数),经过多轮迭代得到最终网络(参数已定) 我们先来分析一个非常简单的三层神经网络: 数据集D=(x1,y1),(x2,y2),...,(xm,ym)D=(x1,...原创 2018-06-16 11:49:49 · 4489 阅读 · 0 评论 -
支持向量机
1. 概述支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器;支持向量机还包括核技巧,这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划(convex quadratic programming)的问题,也等价于正则化的合页损失函数的最小化问。支持向量机的学...原创 2018-06-22 20:21:44 · 280 阅读 · 0 评论 -
统计学习方法概论(1)
第一章 统计学习方法概论统计学习的主要特点是 (1)平台--------计算机及网络,是建立在计算机及网络之上的; (2)研究对象--------数据,是数据驱动的学科; (3)目的---------对数据进行预测与分析; ...转载 2018-06-14 17:33:40 · 285 阅读 · 0 评论 -
序列标注相关方案
1.背景序列标注是一个比较广泛的任务,包括分词,词性标注,命名实体识别,关系抽取等等,甚至你也可以用来做抽取式QA,直接在文章中标注出答案。这里跟大家提一下分词,很基础也是很重要的一个任务,我说重要指的是我们应该掌握分词有哪些算法,而不是说这是一个很好的研究方向,目前分词可提升的空间很小了,所以不建议大家研究这个,但是可以做一些小实验看看。另外给大家介绍一些比较好用的中文分词工具:...原创 2018-06-14 16:13:52 · 1881 阅读 · 0 评论 -
逻辑斯谛回归与最大熵模型
1. 概述Logistic回归是统计学中的经典分类方法,最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型,logistic回归模型与最大熵模型都是对数线性模型。本文第一部分主要讲什么是logistic(逻辑斯谛)回归模型,以及模型的参数估计,使用的是极大对数似然估计以及梯度下降法,第二部分介绍什么是最大熵模型,首先介绍最大熵原理, 然后根据最大熵原理推出最大熵模型,在求解最...原创 2018-06-21 21:07:08 · 271 阅读 · 0 评论 -
实体关系抽取综述
实体关系抽取作为信息抽取领域的重要研究课题,其主要目的是抽取句子中已标记实体对之间的语义关系,即在实体识别的基础上确定无结构文本中实体对间的关系类别,并形成结构化的数据以便存储和取用。从用户需求层面看,文本分类、文本聚类等技术能从大量的文本集合中筛选或组合出用户所需要的文本或段落。而实体关系抽取则可以从更小粒度的文本句子中挖掘出用户所需要的语义关系信息,给用户提供一项更精细的服务。实体关系抽取...原创 2018-06-11 16:14:01 · 22214 阅读 · 1 评论 -
决策树
1. 概念决策树(decision tree)是一种基本的分类与回归方法,这里主要讨论用于分类的决策树。它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。其主要的有点是模型具有可读性,分类速度快,学习时利用训练数据,根据损失函数最小化的原则简历决策树模型。决策树的学习通常包括三个步骤:特征选择,决策树的生成和决策树的修剪。2. 决策树模型与学习2...原创 2018-06-20 16:29:52 · 334 阅读 · 0 评论