机器学习算法
文章平均质量分 87
lgy54321
这个作者很懒,什么都没留下…
展开
-
决策树
文章目录基本概念决策树的损失函数决策树学习策略决策树的学习过程特征选择方法(信息论)熵联合熵基本概念决策树是一类常见的机器学习算法,是一种简单但是广泛使用的分类器。顾名思义,决策树基于树结构进行决策。一般的,一颗决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集...原创 2018-12-12 20:18:26 · 864 阅读 · 0 评论 -
隐马尔科夫模型HMM(四)维特比算法解码隐藏状态序列
HMM最可能隐藏状态序列求解概述在HMM模型的解码问题中,给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}O =\{o_1,o_2,...o_T\}O={o1,o2,...oT},求给定观测序列O条件下,最可能出现的对应的状态序列I∗={i1∗,i2∗,...iT∗}I^*= \{i_1^*,i_2^*,...i_T^*\}I∗={i1∗,i2∗,...iT∗},即...原创 2019-07-11 22:39:30 · 665 阅读 · 0 评论 -
隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数
文章目录HMM模型参数求解概述鲍姆-韦尔奇算法的推导鲍姆-韦尔奇算法流程总结HMM模型参数求解概述HMM模型参数求解根据已知的条件可以分为两种情况。第一种情况较为简单,就是我们已知D个长度为T的观测序列和对应的隐藏状态序列,即{(O1,I1),(O2,I2),...(OD,ID)}\{(O_1, I_1), (O_2, I_2), ...(O_D, I_D)\}{(O1,I1),(O2...转载 2019-07-11 22:11:00 · 593 阅读 · 0 评论 -
隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率
文章目录HMM问题一:求观测序列的概率暴力求解用前向算法求HMM观测序列的概率前向算法。HMM前向算法求解实例HMM问题一:求观测序列的概率首先我们回顾下HMM模型的问题一。这个问题是这样的。我们已知HMM模型的参数λ=(A,B,Π)\lambda = (A, B, \Pi)λ=(A,B,Π)。其中A是隐藏状态转移概率的矩阵,B是观测状态生成概率的矩阵, Π是隐藏状态的初始概率分布。同时我们也...原创 2019-07-10 23:30:10 · 373 阅读 · 0 评论 -
隐马尔科夫模型HMM(一)HMM模型
什么样的问题需要HMM模型首先我们来看看什么样的问题解决可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征:1)我们的问题是基于序列的,比如时间序列,或者状态序列。2)我们的问题中有两类数据,一类序列数据是可以观测到的,即观测序列;而另一类数据是不能观察到的,即隐藏状态序列,简称状态序列。有了这两个特征,那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如...原创 2019-07-10 22:21:11 · 496 阅读 · 0 评论 -
判别式与生成式模型
有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数)。假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0)。给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这两类,然后对于新...原创 2019-07-10 21:48:19 · 209 阅读 · 0 评论 -
概率图模型
文章目录概率图有向图 vs. 无向图有向图条件局部独立性无向图概率图在概率图模型中,数据(样本)由公式 G=(V,E) 建模表示:V 表示节点,即随机变量(放在此处的,可以是一个token或者一个label),具体地,用 为随机变量建模,注意 Y 现在是代表了一批随机变量(想象对应一条sequence,包含了很多的token), P(Y) 为这些随机变量的分布;E 表示边,即概率依赖关...转载 2019-07-10 21:27:01 · 506 阅读 · 0 评论 -
损失函数
文章目录一、平方损失函数(最小二乘法, Ordinary Least Squares )均方误差ESM均方误差+Sigmoid激活函数:输出层神经元学习率缓慢Sigmoid激活函数:ESM均方误差+Sigmoid激活函数二.交叉熵损失交叉损失的定义1.soft max分类器2.交叉熵损失损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函...原创 2019-07-05 14:06:10 · 2322 阅读 · 0 评论 -
熵
文章目录信息熵条件熵相对熵 (Relative entropy),也称KL散度 (Kullback–Leibler divergence)交叉熵总结信息熵一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事,或者是我们一无所知的事,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们就不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为...原创 2019-07-10 10:01:53 · 372 阅读 · 0 评论 -
数据预处理--独热编码(One-Hot Encoding)和 LabelEncoder标签编码
一、问题由来在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。离散特征的编码分为两种情况:1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行one-hot编码i...原创 2019-07-01 22:56:13 · 574 阅读 · 0 评论 -
机器学习复习一(梯度下降)
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr...原创 2019-06-10 21:55:14 · 511 阅读 · 0 评论 -
集成学习--随机森林
文章目录1.集成学习1.1概念1.2 个体学习器1.3Boosting(串行)1.4 Bagging(并行)1.集成学习1.1概念集成学习(ensemble learning)它本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务。集成学习可以用于分类问题集成,回归问题集成,特征选取集成,异常点检测集成等等。集成学习有两个主要的问题需要解决第一是如何得到若干...原创 2018-12-17 19:46:59 · 359 阅读 · 0 评论 -
逻辑回归补充
逻辑回归的优缺点优点1、它是直接对分类可能性建模,无需事先假设数据分布,这样就避免了假设分布不准确问题。2、它不仅预测类别,而且可以得到近似概率预测,这对许多概率辅助决策的任务很有用。3、对率函数是任意阶可导凸函数,有很好的数学性质,现有许多的数值优化算法都可以直接用于求解。缺点对数据和场景的适应能力有局限性,不如决策树算法适应性那么强多分类学习 我们可以利用二分类...原创 2018-12-10 10:27:49 · 340 阅读 · 0 评论 -
条件随机场
文章目录概率无向图模型模型定义概率无向图模型:概率无向图模型的因子分解条件随机场的模型表示linear-chain 条件随机场CRF 的定义CRF 的参数化形式CRF 的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS算法条件随机场的预测算法条件随机场(conditional random field,以下简称CRF) 是给定一组...原创 2019-08-03 09:47:37 · 391 阅读 · 0 评论