JDNLP
文章平均质量分 94
NLP
我对算法一无所知
人生处处是捷径,不绕远儿就是捷径。
展开
-
自然语言处理中的Attention机制
Attention机制的理解Attention机制也就是注意力机制,在自然语言处理中,就是对于一个语言序列的不同的部分给予不同的注意力,在数学上一般表现为权重,也就是对一个语言序列的各个元素加权。对Attention机制给一个通用的定义:给定一组向量集合values,以及一个向量query,attention机制是一种根据该query计算values的加权求和的机制。这个定义来源于cs224n。所谓attention就是这个value集和中的每个向量的权值的大小,attention机制就是用一种原创 2020-10-15 22:15:24 · 652 阅读 · 0 评论 -
CNN卷积神经网络总结
1 DNN和CNNDNN(Deep Neural Networks,深度神经网络)DNN是一个全连接的深度神经网络,也可以用作图像识别,在mnist上的表现也很不错,可以参考这篇文章。鉴于为了介绍CNN和DNN的区别,在这篇文章中都叫做全连接神经网络。全连接神经网络中,每相邻的两层网络之间的节点都是相互有边相连。上一层的每个神经元均要链接下一层的每个神经元,于是一般将每一层的神经元排成一排,如图所示:而对于卷积神经网络,相邻的两个网络层之间只有部分节点相连,为了方便展示神经元的维度,一般会展原创 2020-09-23 15:45:47 · 6546 阅读 · 0 评论 -
Bagging与Boosting的区别与联系
1 Bagging与Boosting的区别与联系Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好。1.1 Bagging介绍用抽样的方式从原始样本中进行有放回的多次抽样(或者是抽特征),这种方法叫做Bootstraping,抽取k次每次抽取n个样本,这样就生成了k个样本容量为n的数据集。原始数据集中的样本可能是多次被抽到也可能是没有被抽到。 每次使用一个数据即选练得到一个模型,这样k个数据集就可以得到k个模原创 2020-08-30 21:55:09 · 26048 阅读 · 3 评论 -
决策树:ID3和C4.5
1 决策树简介决策树是一种分类算法,是通过对数据的处理,利用归纳算法,生成一些列规则,类似于if-else,然后根据这些规则对新的数据做决策。本质上就是学习规则,在利用规则做分类的过程。具体来说,就是首先根据数据的特征,决定每个树的节点使用哪一个特征做为分类依据,以及使用这个特征的哪个指作为分类界限,这就是一棵树的构造过程。决策树的优点:推理过程容易理解,决策过程可以表示成if-else 推理过程完全依赖于属性变量的取值特点 可自动忽略目标变量没有贡献 的属性变量,也为判断属性变量的重要性、原创 2020-08-30 14:54:28 · 779 阅读 · 0 评论 -
word2vec(一)——skip-gram原理理解
1 什么是word2vecword2vec顾名思义,就是将词(word)映射到(to)实向量(vector),用一一实数向量表示一个词,也被叫做词嵌入(word embedding),也可以认为词向量是词的特征向量。通过这种词嵌入的方式可以将词语映射为可以计算的数学形式,使计算机对自然的语言的计算变得更加可行,同时也赋予了它一定的数学性质,例如可以用向量的相似度来表示两个词的相似度等等。word2vec可以参考这篇文章中有提到https://blog.csdn.net/qq_31267769/artic原创 2020-08-28 23:47:57 · 6004 阅读 · 3 评论 -
Tf-idf推导及理解
1 什么是Tf-idf?TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。百度百科:TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency),IDF是逆文本频率指数(Inverse Document Frequency)。顾名思义,Tf-idf由tf和idf两部分组成,tf是指一个词在当前document里面出现的频率,原创 2020-08-25 23:09:33 · 694 阅读 · 0 评论 -
softmax与sigmoid函数的理解
1 sigmoid1.1 sigmoid的简单推理在使用逻辑回归做二分类问题时,sigmoid函数常用作逻辑回顾的假设函数,从直觉上理解很好理解,就是在线性回归的基础上套一个sigmoid函数,将线性回归的结果,映射到范围内,使他变为一个二分类问题。但是在sigmoid背后有一套严谨的数学推导,包括sigmoid函数时怎么推导出来的,为什么使用丝sigmoid函数。逻辑回归和线性回归同属一个广义线性模型,顾名思义,这些模型有相似之处,实在同一套约束下设计出来的。例如解决一个二分类问题,首先假设这原创 2020-08-24 23:39:27 · 3936 阅读 · 0 评论 -
对语言模型(Language Model)与n-gram的理解
1 语言模型(Language Model)的定义定义:语言模型是一个单纯的、统一的、抽象的形式系统,语言客观事实经过语言模型的描述,比较适合于电子计算机进行自动处理,因而语言模型对于自然语言的信息处理具有重大的意义。 数学角度理解:语言模型就是对于一个语素序列,计算出这个语素序列的概率,即:(语素指语言中最小的音义结合体,一般来说就是独立的词)简单来说就是通过一些数学手段,计算出对于一个句子的概率大小,概率大这句话就是争取的,概率小这句话就是错误的。例如:,这里是存在语序的。语言模型主要...原创 2020-08-24 01:15:08 · 1579 阅读 · 0 评论 -
NLP先验知识(一)
NLP基础任务1. 分词最大匹配分词法:长度优先1. 前向最大匹配(forward-max matching)2. 后向最大匹配(backward-max matching)这种算法有几个缺点:1. 词典中没有(OOV,out of vocabulary)2. 分词出现歧义 例如:武汉市长江大桥,会把市长和长江大桥同时分出来,产生歧义现在有很多现成的模型以及第三方包几乎可以解决这些问题:1. jieba2. LTP3. hanNLP4. snowNLP..原创 2020-08-16 10:12:17 · 1457 阅读 · 0 评论