机器学习原理
文章平均质量分 93
bra_ve
这个作者很懒,什么都没留下…
展开
-
Machine Learning Series No.2 --Logistic Regression
前言每次上吴恩达老师的机器学习课,总是能带给我一些不同的东西(恩,换句话说,也就是我之前都学的啥??)。这次终于开始写逻辑回归了,逻辑回归真的是一个非常了不起的算法,恩,学到后来你会发现,诶,怎么哪里都有它? 这里首先向强调的一点是,逻辑回归是一个线性分类器,用做分类的,而且是线性的,千万不要以为sigmoid函数是非线性的,它就是非线性的了。看一个算法,照李航老师所说,你应该看三部分:原创 2018-01-29 16:38:38 · 178 阅读 · 0 评论 -
Machine Learning Series No.8 -- CRF(Conditional Random field)
条件随机场 判别模型常用场景:词性标注。CRF可以考虑相邻数据的标记信息。概率图模型概率图模型(Probabilistic graphical model,PGM)是由图表示的概率分布。概率无向图模型概率无向图模型(Probabilistic undirected graphical model)又称马尔可夫随机场(Markov random field)...原创 2018-09-06 14:51:35 · 525 阅读 · 0 评论 -
Machine Learning Series No.7 -- Max Entropy
最大熵模型1.它是一个判别模型,最终目的是为了建模p(y|x)p(y|x)p(y|x)。2.原理认为学习模型时,认为条件熵最大的模型是最好的模型。其原理可由以下博客说明,其隐含的意思是指最好的模型是在满足已有约束的条件下,不做任何主观臆测的模型是最好的模型。https://www.cnblogs.com/ooon/p/5677098.html3.推导Ep~(...原创 2018-09-06 14:48:09 · 153 阅读 · 0 评论 -
Machine Learning Series No.9 -- HMM(Hidden Markov Model)
隐马尔科夫模型(Hidden Markov Model, HMM)1.生成模型,对p(x,y)p(x,y)p(x,y)进行建模2.符号说明 SYMBOLS meanings Q{q1,q2,⋯,qn}Q{q1,q2,⋯,qn}Q\{q_1,q_2,\cdots,q_n\} 可能的状态集合 V{v1,v2,⋯,vn}V{v1,v2,⋯,vn}V\...原创 2018-09-06 14:40:49 · 234 阅读 · 0 评论 -
Machine Learning Series No.6 -- EM algorithm
EM算法1.直观理解通俗理解:https://blog.csdn.net/v_JULY_v/article/details/81708386通俗的理解看出就是EM算法由于不知道隐变量的分布,先给出参数的随机初始值,然后根据参数,去得到隐变量的分布,然后根据隐变量和观测变量的共同分布基于最大似然去重新估计参数,知道参数稳定。2.数学推导极大似然估计: L(θ)=∑ilo...原创 2018-08-29 20:03:05 · 176 阅读 · 0 评论 -
Machine Learning Series No.5 -- Boosting & Bagging
提升方法 主要可以分为两大类:Boosting & BaggingBoosting主要代表算法是Adaboost。Boosting策略主要关注降低偏差。Boosting的基分类器之间彼此串行,每一轮都更新样本的权重,更加关注分类错误的样本,最终采用加法模型,加大分类误差率小的基分类器的权重,降低分类错误率大的基分类器的权重,组合所有的基分类器。...原创 2018-08-21 11:43:40 · 214 阅读 · 0 评论 -
Machine Learning Series No.4 -- Decision Trees
决策树决策树的总结可以划分为以下两个问题:1.结点如何分裂?2.如何剪枝?剪枝有多重策略,常用的是代价复杂度剪枝(Cost complexity pruning),又叫最弱连接剪枝(weakest link pruning)。剪枝策略剪枝策略很多,以下只是一种,在各个算法中可以选用。代价复杂度剪枝(Cost complexity pruning) ∑m=1|...原创 2018-08-16 20:27:52 · 452 阅读 · 0 评论 -
Machine Learning Series No.3-- Support Vector Machine
前言好久没写,是因为觉得SVM实在是一个太庞大的东西,不知道该从何写起,也不知道能不能写好。但是最终还是觉得要写出来。写在最前面,是想强调一点: 线性分类、逻辑回归当中,我们知道最终的分界面是一个平面,在二维当中说,也就是一条直线,但是有时候我们想得到一个非线性的分类边界怎么办呢? 这就引出了神经网络和SVM。简要的提一下神经网络,在08年的时候,神经网络并没有那么火,09年深度学原创 2018-02-03 22:39:48 · 224 阅读 · 0 评论 -
Machine Learning Series No.1 --Linear Regression
前言最近看了李航老师的《统计学习方法》,还正在学习吴恩达老师的《机器学习》的课程(网易公开课上有,较老的版本)。自从看过《统计学习方法》之后,发现笔记不看其实学习效果并不好。因此想以电子版格式写下来记录,一方面加深自己的印象,一方面也是希望能够和大家交流。此版本大致与吴恩达老师的《机器学习》课程一致,因为是结合他的课程以及我之前的《统计学习方法》笔记来写的这一系列文章。以下观点均是原创 2018-01-26 22:24:15 · 318 阅读 · 0 评论 -
Machine Learning Series No.10 -- PCA
PCA算法PCA算法是一种降维算法,其主要思想有两种:1.使得降维以后的超平面离原始的样本点尽可能的近。2.使得样本点在降维以后的超平面的投影尽可能的分开。注意:PCA减少基底的数目,从而减少数据维度。坐标系的变换设新坐标系的正交基为η=(η1,η2,⋯,ηm)η=(η1,η2,⋯,ηm)\eta = (\eta_1,\eta_2,\cdots,\eta_m),原始...原创 2018-09-06 14:56:59 · 235 阅读 · 0 评论