机器学习
文章平均质量分 66
thinkhui
这个作者很懒,什么都没留下…
展开
-
机器学习中的算法-支持向量机(SVM)基础
前言: 又有很长的一段时间没有更新博客了,距离上次更新已经有两个月的时间了。其中一个很大的原因是,不知道写什么好-_-,最近一段时间看了看关于SVM(Support Vector Machine)的文章,觉得SVM是一个非常有趣,而且自成一派的方向,所以今天准备写一篇关于关于SVM的文章。 关于SVM的论文、书籍都非常的多,引用强哥的话“SVM是让应用数学家真正得到应用的一种算转载 2016-09-22 17:33:20 · 467 阅读 · 0 评论 -
GBDT原理小结
最近在做文本分类的工作,使用到了XGBoost用于多分类。因此本文针对自己学习的XGBoost相关知识进行简单记录,并延伸了GBDT的相关理论知识。一、监督学习算法 监督学习算法主要有以下三个重要组成部分:模型参数目标函数1、模型 &...转载 2019-06-02 18:16:22 · 480 阅读 · 0 评论 -
隐马尔科夫模型HMM(四) -- 参数估计问题
最后,我们研究第三个问题,参数估计问题。也即是给定一个观察序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT,如何根据最大似然估计来求模型的参数值?即如何调节模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π...原创 2019-06-07 11:36:59 · 2761 阅读 · 0 评论 -
隐马尔科夫模型HMM(二) -- 估计问题
首先我们来研究HMM的第一个问题 – 估计问题。给定一个HMM模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π)和观测序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT,如何快速地计算出给定模型μ\muμ的...原创 2019-06-01 23:55:37 · 363 阅读 · 0 评论 -
隐马尔科夫模型HMM(三) -- 序列问题
接下来,我们研究第二个问题,序列问题。也即是给定一个HMM模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π)和观测序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT,如何快速有效地选择在一定意义下“最优”的...原创 2019-06-07 00:41:24 · 321 阅读 · 0 评论 -
隐马尔科夫模型HMM(一) -- 模型介绍
目前在工作中使用到了jieba分词,主要是对文章进行切词,在深入理解jieba切词原理的时候,发现其采用了隐马尔科夫模型HMM,因此对HMM进行了研究,这里就自己学习到的知识进行记录。文章主要参考了宗成庆老师的《统计自然语言处理》第二版,非常感谢宗老师!一、马尔科夫模型马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年...原创 2019-06-01 09:30:41 · 404 阅读 · 0 评论 -
SVD的计算方法
问题模型:对下面的矩阵进行SVD运算:步骤1: 步骤2:步骤3:构建对角矩阵S通过上面的图可以看出来A被分解了之后又被近似的还原过来。补:步骤6:由公式知,即转载 2016-09-27 11:55:56 · 2747 阅读 · 0 评论 -
多元线性回归及梯度下降
一、线性回归定义 方法:线性回归属于监督学习,因此方法和监督学习应该是一样的,先给定一个训练集,根据这个训练集学习出一个线性函数,然后测试这个函数训练的好不好(即此函数是否足够拟合训练集数据),挑选出最好的函数(cost function最小)即可。 线性方程应如下表示:原创 2016-09-26 15:45:11 · 1918 阅读 · 0 评论 -
特征选择常用算法综述
1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ,或属性选择( Attribute Selection ) ,是指从全部特征中选取一个特征子集,使构造出来的模型更好。 (2) 为什么要做特征选择 在机器学习的实际应用中,特征数量往往较多,其转载 2016-09-20 11:51:25 · 980 阅读 · 0 评论 -
XGBoost原理简介
一、简述 这里先简单介绍下RF(Random Forest)、GBDT(Gradient Boosting Decision Tree)和XGBoost算法的原理。 RF:从M个训练样本中随机选取m个样本,从N个特征中随机选取n个特征,然后建立一颗决策树。这样训练出T棵树后,让这k颗树对测...转载 2019-06-09 17:47:28 · 7626 阅读 · 1 评论