机器学习
文章平均质量分 50
aizenggege
机器学习,神经网络努力中。
展开
-
关于k-NN算法的总结及个人理解
k-NN算法的三要素:k值的选择,距离度量,分类决策规则。k值的选择: k值选的过小,训练误差会很小,但测试误差会对应增加,这是明显的过拟合现象。k值选的过大,训练误差过大,测试误差也会很大,明显的欠拟合现象。 K近邻法不具有显示的学习过程,也就是没有显示的训练过程,怎么会有训练误差呢?其实从原理上还是挺容易理解的,K近邻法确定后k值大小,距离度量和分类决策之后,原创 2017-03-23 11:41:24 · 3705 阅读 · 0 评论 -
朴素贝叶斯法
朴素贝叶斯法基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法对条件概率分布做了条件独立的假设。由于这是一个较强的假设,由此获得朴素贝叶斯的名字(对于多重线性相关的特征,朴素贝叶斯法效果会很差)。朴素贝叶斯实际上学习到生成数据的机制,所以属于生成模型。期望风险最小化准则就能得到后验概率最大化准则: f(x)=argmax P(y=k|X=x); 这就是贝叶斯法有效的原理。原创 2017-03-25 12:26:42 · 270 阅读 · 0 评论 -
逻辑斯谛回归学习总结
逻辑斯谛回归模型是对数线性模型的推理原创 2017-04-11 16:55:00 · 575 阅读 · 0 评论 -
熵模型—— 熵,条件熵,联合熵,相对熵,互信息及其关系,最大熵模型。。
引入1:随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数,求Y得概率密度函数fY(y).解:令X的累积概率为FX(x), Y的累积概率为FY(y).则 FY(y) = P(Y <= y) = P(aX <= y) = P(X <= y/a) = FX(y/a),则 fY(y) = d(FX(y/a)) / dy = 1/a * fX(x/a)引入2:如何定义信转载 2017-04-15 10:54:48 · 4636 阅读 · 0 评论 -
机器学习--Logistic回归计算过程的推导
(很多讲逻辑回归的文章都没有给出详细的推导,只是列出最后的计算公式,今天在网上看到一篇解释得非常详细的文章,赶紧转载一下:【机器学习笔记1】Logistic回归总结(http://blog.csdn.net/dongtingzhizi/article/details/15962797) 作者说"未经允许,不得转载",我这里先冒犯了,如果觉得不合适,请告知。) Lo...转载 2018-10-02 15:48:02 · 318 阅读 · 0 评论 -
决策树详解
版权声明:博客文章都是作者辛苦整理撰写的,转载请注明出处,谢谢!https://blog.csdn.net/m0_37306360/article/details/76861494写在前面决策树(decision tree)是一种基本的分类和回归方法,是机器学习的基本模型,其模型是树形结构,其具体实现包括三种经典算法,分别为ID3,C4.5,CA...转载 2018-10-02 20:47:22 · 693 阅读 · 0 评论