机器学习
文章平均质量分 70
ML学习笔记
猎猎长风
士不可以不弘毅,任重而道远。
展开
-
【机器学习算法】隐马尔可夫模型HMM(二)
一、隐马尔可夫模型定义状态集合Q={q1,q2,...,qN} ∣Q∣=NQ=\{q_1,q_2,...,q_N\}\ \ \ \ \ |Q|=NQ={q1,q2,...,qN} ∣Q∣=N观测集合V={v1,v2,...,vM} ∣V∣=MV=\{v_1,v_2,...,v_M\}\ \ \ \ \ |V|=MV={v1原创 2021-05-24 16:24:37 · 292 阅读 · 0 评论 -
【机器学习算法】隐马尔可夫模型HMM(一)
一、马尔可夫性质设{X(t),t∈T}\{X(t), t ∈ T\}{X(t),t∈T}是一个随机过程,E为其状态空间,若对于任意的t1<t2<...<tn<tt_1<t_2< ...<t_n<tt1<t2<...<tn<t,任意的x1,x2,...,xn,x∈Ex_1,x_2,...,x_n,x∈Ex1,x2,...,xn,x∈E,随机变量X(t)X(t)X(t)在已知变量X(t1)=x1,...,X(tn)=xnX(t原创 2021-04-29 18:29:43 · 787 阅读 · 0 评论 -
【机器学习算法】期望最大算法(EM)(二)
接上一篇笔记的背景,本文主要以《统计学习方法》中的推导思路对EM算法再一次推导。不完全数据: 观测随机变量YYY(对应HMM中的OOO)完全数据: 观测随机变量YYY和隐随机变量ZZZ(对应HMM中的III)含有隐变量ZZZ的概率模型,⽬标是极⼤化观测变量YYY关于参数θ\thetaθ的对数似然函数,即maxθL(θ)\mathop{max}\limits_{\theta}L(\theta)θmaxL(θ)其中,L(θ)=logP(Y∣θ)=log∑ZP(Y,Z∣θ)=log(∑ZP(Y∣Z,原创 2021-05-26 16:08:06 · 168 阅读 · 0 评论 -
【机器学习算法】期望最大算法(EM)(一)
EM:Expectation-Maximization一、极大似然估计1. 举例举个栗子: 假如你去赌场,但是不知道能不能赚钱,你就在门口堵着出来一个人就问一个赚了还是赔了,如果问了5个人都说赚了,那么你就会认为,赚钱的概率肯定是非常大的。已知:(1)样本服从分布的模型(2)观测到的样本求解:模型的参数总的来说:极大似然估计就是用样本来估计模型参数的统计学方法2. 极大似然数学问题100名学生的身高问题样本集X={x1,x2,…,xn} ,n=100概率密度:p(xi|θ)抽到男生i(的原创 2021-04-23 17:19:56 · 501 阅读 · 0 评论 -
【机器学习算法】8.6集成学习-Stacking(笔记)
1.Stacking(堆叠)2.Stacking代码实现原创 2020-09-21 23:22:48 · 319 阅读 · 2 评论 -
【机器学习算法】8.5集成学习-Boosting之XGBoost(笔记)
XGBoost简介2.XGBoost损失函数3.2.XGBoost正则项原创 2020-09-21 22:51:15 · 137 阅读 · 0 评论 -
【机器学习算法】8.4集成学习-Boosting之GBDT(笔记)
1.Boosting(提升)2.Boosting Tree(提升树)3.Boosting Tree代码实现原创 2020-09-21 20:07:15 · 203 阅读 · 0 评论 -
【机器学习算法】8.3集成学习-Boosting之AdaBoost (笔记)
1.提升法(Boosting)2.AdaBoost3.AdaBoost实例原创 2020-09-20 20:41:36 · 293 阅读 · 0 评论 -
【机器学习算法】8.2集成学习-Bagging与随机森林(笔记)
1.Bagging2.随机森林随机森林代码:原创 2020-09-20 20:26:05 · 118 阅读 · 0 评论 -
【机器学习算法】8.1集成学习简介、Voting(笔记)
1.集成学习简介2.Voting2.1Voting能够提高准确率的原因代码:模拟不同分类器的集成效果,每个分类器的准确率只有51%(只比随机猜好一点),但是集成后的效果有显著提升¶如果用1000个分类器,最终准确率可达75%。如果用10000个分类器,最终准确率高达97%import numpy as npn=10000#分类器数量p = np.array([0.51, 0.49])result = []for i in range(1000): nu.原创 2020-09-20 09:46:37 · 1543 阅读 · 0 评论 -
机器学习面试笔试超详细总结(二)(转载)
51、概率和信息量的关系示例:符号集 a 、 b 、 c 、 d ,它们相互独立,相应概率为 1/2 、 1/4 、 1/8/ 、 1/16 ,其中包含信息量最小的符号(a)解析: 消息出现的概率越小,说明限制条件越多,则消息中所包含的信息量就越大; 事件出现的概率越大,说明限制条件越少,则所包含的信息量就越小; 52、数据清理中,缺失值的处理方法数据清理中,处理缺失值的方法有两种:一、删除法:删除观察样本 删除变量:当某个变量缺失值较多且对研究目标影响不大时,转载 2020-09-10 12:12:56 · 2373 阅读 · 0 评论 -
机器学习面试笔试超详细总结(一)(转载)
目录1、判别模型和生成模型2、最大概率分词3、中文分词的基本方法4、CRF(条件随机场)的特点5、隐马尔可夫模型(HMM)时间复杂度及可以使用的数据集6、在二分类问题中的评价方案7、决策树特点8、过拟合9、异方差性10、Fisher线性判别函数/PCA11、参数估计算法12、Naive Bayesian(NB)分类模型,数据重复问题13、下列那个方法不可以对文本分类14、主分量问题15、logit 回归和SVM 的对比16、影响聚类算法结果的主转载 2020-09-10 11:09:00 · 3781 阅读 · 0 评论 -
【机器学习算法】6.K-Means(笔记)
原创 2020-09-09 09:57:55 · 148 阅读 · 0 评论 -
【机器学习算法】5.支持向量机(笔记)
线性可分支持向量机拉格朗日乘子法求带有等式约束的极值问题拉格朗日乘子法求带有不等式约束的极值问题线性可分支持向量机目标函数求解总结:线性可分支持向量机算法线性支持向量机线性支持向量机目标函数优化非线性支持向量机核函数非线性支持向量机目标函数SVM总结...原创 2022-02-10 16:10:09 · 631 阅读 · 0 评论 -
【机器学习算法】4.朴素贝叶斯(笔记)
贝叶斯决策论条件概率原创 2020-09-09 09:43:37 · 124 阅读 · 0 评论 -
【机器学习算法】3.决策树(笔记)
原创 2020-09-01 00:11:07 · 157 阅读 · 0 评论 -
【机器学习算法】2.逻辑回归(笔记)
三种逻辑分类多分类讲解原创 2020-09-01 00:08:51 · 105 阅读 · 0 评论 -
【机器学习算法】1.线性回归(笔记)
标准差公式中,分母上为n,为平均数。原创 2020-09-01 00:06:43 · 153 阅读 · 1 评论