Haward

欢迎交流学习

(五)N-gram语言模型的数据处理

一、步骤 数据集说明:一段英文 (1)分词:把原始的英文分词,只保留词之间的顺序不变,多个句子也是看出整体进行分词。 (2)统计词频:按照n元进行词频统计,比如“I love NLP I enjoy it”当n=2时候,可以划分为(【I love】,【love NLP】,【NLP I】…),...

2018-09-17 10:05:24

阅读数 474

评论数 2

(四)N-gram语言模型与马尔科夫假设

1、从独立性假设到联合概率链 朴素贝叶斯中使用的独立性假设为 P(x1,x2,x3,...,xn)=P(x1)P(x2)P(x3)...P(xn)(1)(1)P(x1,x2,x3,...,xn)=P(x1)P(x2)P(x3)...P(xn) P(x_1,x_2,x_3,...,x_n)=P(...

2018-09-16 23:27:43

阅读数 1857

评论数 0

(三)朴素贝叶斯运用——文本分类

1、贝叶斯理论 当我们有样本(包含特征和类别)的时候,我们非常容易通过p(x)p(y|x)=p(y)p(x|y)p(x)p(y|x)=p(y)p(x|y)p(x)p(y|x) = p(y)p(x|y)统计得到 p(特征|类别) .即p(特征)p(类别|特征)=p(类别)p(特征|类别)p(特征...

2018-09-15 19:29:44

阅读数 2478

评论数 7

(二)贝叶斯和朴素贝叶斯

1、贝叶斯公式 P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=P(X|Y)P(Y)P(X) P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)} 由P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)P(Y,X)...

2018-09-15 14:01:26

阅读数 134

评论数 0

(一)jieba分词

jieba分词 1、全模式 按照前后的顺序分词,句子有交叉 import jieba seg_list = jieba.cut("我喜欢自然语言处理", cut_all=True) print("Full Mode: "...

2018-09-14 21:59:11

阅读数 489

评论数 0

bagging与随机森林

1、bagging 步骤如下: (1)从样本集合中有放回地选出n个样本 (2)在所有属性上,对这n个样本建立分类器(分类器可以是决策树,SVM,Logistic回归等) (3)重复步骤(1)、(2)m次,得到m个分类器 (4)用m个分类器对数据的预测结果进行投票 2、随机森林 步骤如...

2018-09-11 18:20:40

阅读数 97

评论数 0

提升树boosting tree模型

1、提升树的定义 提升树是以分类树或者回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树(boosting tree) 2、与AdaBoost算法的提升方法的区别 提升树算法只需将Adaboost算法的基本分类器限制为二分类树(对于二分类问题而言)即可,可以说提升树是Ad...

2018-09-06 20:21:14

阅读数 276

评论数 0

提升方法AdaBoost算法

1、提升方法 提升方法就是从弱学习算法出发,反复学习,得到一系列弱分类器(又称为基本分类器),然后组合弱分类器,构成一个强分类器。大多数提升的方法都是改变训练数据的的概率分布(训练数据的权值分布)。 2、提升方法相关问题 (1)在每一轮如何改变训练数据的权值或者概率分布? Adaboo...

2018-09-06 17:25:02

阅读数 75

评论数 0

信息论

1、信息熵 信息熵是度量样本集合纯度最常用的一种指标。假设样本集合D中第kkk个类所占的比例为pkpkp_k,一共有KKK个类,则D的信息熵定义为 Ent(D)=−∑k=1Kpklog2pk(1)(1)Ent(D)=−∑k=1Kpklog2pk Ent(D)=-\sum_{k=1}^{K}p_...

2018-09-05 21:26:12

阅读数 1005

评论数 0

核函数

1、定义 设χχ\chi 是输入空间(欧式空间RnRnR^n的子集或离散集合),又设H为特征空间(希伯尔特空间),如果存在一个从χχ\chi 到H的映射 ϕ(x):χ→H(1)(1)ϕ(x):χ→H \phi(x):\chi \rightarrow H \tag{1} 使得对所有x,z∈χ...

2018-09-05 16:34:42

阅读数 141

评论数 0

overfitting过拟合问题

1、定义 在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大(过拟合是泛化的反面) 2、解决办法 (1)正则化(Regularization) L2正则化:目标函数中增加所有权重w参数的平方之和, 逼迫所有w尽可能趋向零但不为零. 因为过拟合的时候...

2018-09-04 19:56:41

阅读数 82

评论数 0

LR模型推导

1、定义 二项逻辑斯谛回归模型,是如下的条件概率分布。 P(Y=1|x)=ewx1+ewx(1)(1)P(Y=1|x)=ewx1+ewx P(Y=1|x)= \frac{e^{wx}}{1+e^{wx}} \tag{1} P(Y=0|x)=11+ewx(2)(2)P(Y=0|x)=11+e...

2018-09-04 18:49:19

阅读数 419

评论数 3

格雷编码

题目:格雷编码是一个二进制数字系统,在该系统中,两个连续的数值仅有一个位数的差异。 给定一个代表编码总位数的非负整数 n,打印其格雷编码序列。格雷编码序列必须以 0 开头。 输入: 2 输出: [0,1,3,2] 解释: 00 - 0 01 - 1 11 - 3 10 - 2 对...

2018-09-04 12:17:39

阅读数 545

评论数 0

(三)拉格朗日乘子法——对偶问题

给出不等式约束优化问题 minx f(x)s.t.   hi(x)=0, i=1,2,...,m  &am...

2018-09-03 23:06:46

阅读数 916

评论数 0

(二)拉格朗日乘子法——KKT条件

假设目标函数是求解f(x,y)=x2+y2f(x,y)=x2+y2f(x,y)=x^2+y^2的最小问题。 (1)假设约束条件是h(x,y)=x+y⩽1h(x,y)=x+y⩽1h(x,y)=x+y \leqslant 1,即 ⎧⎩⎨⎪⎪minf(x,y)=x2+y2s.th(x,y)=x+y⩽...

2018-09-03 20:23:28

阅读数 191

评论数 0

(一)拉格朗日乘子法——分析推导

如果z=f(x,y)z=f(x,y)z=f(x,y)在条件g(x,y)=0g(x,y)=0g(x,y)=0的条件下,在点(x0,y0)(x0,y0)(x_0,y_0)取得极值,如下图所示。 那么,f(x,y)f(x,y)f(x,y)的梯度与g(x,y)g(x,y)g(x,y)的梯度平行,即向...

2018-09-02 23:31:08

阅读数 1689

评论数 1

(一)SVM推导

SVM模型就是用一个超平面H把正负样本分开的模型,如图1所示。 1、超平面的定义 假设w→w→\overrightarrow{w}是垂直超平面H的法向量,x−−→x−→\overrightarrow{x_-}是一个负样本,x+−→x+→\overrightarrow{x_+}是一个正样本,x−...

2018-09-02 19:47:31

阅读数 512

评论数 0

提示
确定要删除当前文章?
取消 删除