机器学习
咕噜咕噜day
day day up!
展开
-
相对熵、信息熵和交叉熵
what:交叉熵是信息论的重要概念;用于度量两个概率分布之间的差异性;其他相关知识:信息量:信息是用来消除随机不确定的东西;信息量的大小与信息发生的概率成反比;I(x)=−log(P(x)), p(x)表示某一事件发生的概率,log表示自然对数举例:信息量为0:“太阳从东边升起”信息量极大:”2018年中国队成功进入世界杯“信息熵:信息熵也叫熵,是用来表示所有信息量的期望;期望是每次试验结果的概率 乘以 结果的总和,因此公式如下:举例:..原创 2021-08-18 17:42:23 · 330 阅读 · 0 评论 -
树模型总结
树模型总结1.树模型基础介绍。 什么是树模型? 一种基于特征空间划分的具有树形分支结构的模型。 树模型的特点? 方差大、对量纲没有要求、由多条规则组成、能够处理数值型和类别型数据、有较高的解释性。 树模型的优点? 1)需要准备的数据量不大。 2)算法时间的复杂度是用于训练决策树的数据点的对数。 3)能够处理数值型和类别型数据。 4)相对对神经网络,解释性比较强。 树模型的缺点? 有的规则不具备可解释性、抗干扰能力弱、最优决策划分是NP难问题、对数据不均衡类别倾向数据多转载 2020-12-29 10:14:03 · 2250 阅读 · 0 评论 -
PCA思想(Principal components analysis)总结:
实践:使用sklearn简单实践PCA算法https://www.cnblogs.com/pinard/p/6243025.html参考:https://www.bilibili.com/video/BV1Vt4y1X799?p=4https://www.cnblogs.com/pinard/p/6239403.htmlhttps://www.cnblogs.com/pinard/p/6243025.html原创 2020-12-07 14:09:02 · 144 阅读 · 0 评论 -
HMM简单总结
原创 2020-11-25 23:49:56 · 152 阅读 · 0 评论 -
ID3、C4.5、CART、RF详细介绍
原创 2020-11-12 02:35:48 · 296 阅读 · 0 评论 -
贝叶斯公式经典题
题目:比如找次品问题:A,B,C 产品占比分布为 1/2, 1/6, 1/3; A,B,C的次品率分布为 0.2, 0.1, 0.3; 求出现次品是A做出来的概率;计算:原创 2020-11-07 02:28:45 · 11786 阅读 · 0 评论 -
机器学习优化算法总览
目录机器学习要求解的数学模型最优化算法的分类费马定理拉格朗日乘数法KKT条件数值优化算法梯度下降法动量项AdaGrad算法RMSProp算法AdaDelta算法Adam算法随机梯度下降法牛顿法拟牛顿法可信域牛顿法分治法坐标下降法SMO算法分阶段优化动态规划算法对于几乎所有机器学习算法,无论是有监督学习、无监督学习,还是强化学习,最后一般都归结为求解最优化问题。因此,最优化方法在机器学习算法的推导与实现中占据中心地位.转载 2020-07-31 11:57:37 · 1582 阅读 · 1 评论