统计学习方法
那年柒月人未眠
希望自己能一天天变好,做个温柔的人
展开
-
统计学习方法-第一章
统计学习方法第一章关于统计的一些理解关于联合概率分布以及映射监督学习中的决策方式经验风险结构风险与决策方式泛化误差关于统计的一些理解机器学习的目的在于找到复杂数据中的关联性,数据的独立性越强,则有效数据越多,数据中包含着部分的真理,数据科学家的目的在于找出关联性,即联合分布函数或者映射。关于联合概率分布以及映射联合概率分布的基本定义不再赘述,在机器学习中关于X,YX,YX,Y的分布并非独立...原创 2019-03-09 16:48:47 · 199 阅读 · 0 评论 -
统计学习方法-总结
统计学习方法总结及未来规划关于第11章,这一章不想说什么,关于概率图,贝叶斯有向图,等一系列问题,我打算去深入看看。我发现我写的博客就是垃圾,为什么,很多东西没讲清楚,不求甚解,甚至原理推导都有很多问题,但是这并不妨碍我决定入这一行的决心,曾经的辉煌已经没落,大学四年失去了太多,浪费时间,打游戏,很多问题都显露出来。我曾经以为只有一部分人是我这样,但是后来我发现很多人都是这样,为什么,大二的时...原创 2019-03-21 19:03:44 · 265 阅读 · 0 评论 -
统计学习方法-第八章
统计学习第八章-提升方法提升方法AdaBoost向前分布算法提升树模型提升方法AdaBoost算法如下:(1)假设每个数据具有相同的权值,训练出基分类器G1(x)G_1(x)G1(x),(2.1)使用当前加权Dm,进行基分类器的学习Gm(x)G_m(x)Gm(x)。(2.2)计算误差率,即分类结果与实际结果不相同em=∑i=1NP(Gm(xi)≠yi)=∑Gm(xi)≠yiwmi...原创 2019-03-18 11:45:20 · 252 阅读 · 0 评论 -
统计学习第七章-SMO算法
统计学习第七章-支持向量-SMO算法原创 2019-03-17 15:46:46 · 422 阅读 · 0 评论 -
统计学习方法-第七章
统计学习第七章-支持向量支持向量的数学表达支持向量软间隔化线性支持向量支持向量的数学表达在n维空间上,使用一个n维度的超平面将其划分开来,常用的用于二分类,数据类型为(x1,x2...,xn,y)(x_1,x_2...,x_n,y)(x1,x2...,xn,y)。y通常为正例和返例,学习的超平面划分方程为:w∗⋅x+b∗=0w^*·x +b^* = 0w∗⋅x+b∗=0几何间隔距...原创 2019-03-16 17:12:42 · 312 阅读 · 0 评论 -
统计学习方法-第十章
统计学习方法-第十章-隐马尔可夫模型隐马尔可夫模型定义前向算法学习算法预测算法近似算法维特比算法隐马尔可夫模型定义初始概率分布:向量π=P(i1=qi)π = P(i_1=q_i)π=P(i1=qi)观测概率矩阵:B=[bj(k)]N×MB=[b_j(k)]_{N×M}B=[bj(k)]N×M其中bj(k)=P(ot=vk∣it=qj)k=1,2,...,M;j=1,2,...,N...原创 2019-03-20 13:11:05 · 321 阅读 · 0 评论 -
统计学习方法-第三章
统计学习方法第三章统计学习方法-第三章KNN算法原理及其实现数据集基本结构基本原理距离$k$的取值k-d树及树的操作寻找k-d树d维最小坐标值点算法新增节点新增节点KNN基于k-d树的算法二分类(习题3.3)统计学习方法-第三章KNN算法原理及其实现数据集基本结构该数据结构用于描绘伪代码,在平面空间的二分类问题索引列索引1列索引2标签行索引1x11x_{11}x...原创 2019-03-11 21:19:29 · 417 阅读 · 0 评论 -
统计学习方法-第六章
统计学习第六章-最大熵模型最大熵的选择问题熵、联合熵、条件熵、互信息的关系最大熵模型特征函数的细致探讨特征函数的估计$E_{P}(f)$最大熵模型改进尺度迭代法IIS最大熵的选择问题熵、联合熵、条件熵、互信息的关系熵之间的关系问题,不涉及到交叉熵等。为什么选择最大熵,物理学中,系统往往向着熵增加的方向发展,所以系统的熵越大,则系统的稳定性越高,当然系统的未知性也越高,例如简单的,水和无水乙...原创 2019-03-15 20:40:09 · 378 阅读 · 0 评论 -
统计学习方法-第九章
统计学习方法-第九章-EM算法EM算法的原理三硬币问题EM算法的提出算法的敛散性EM算法的原理我反思了一下最近的文章,发现,我好像一直逻辑很混乱,所以我决定用,因果关联的方法写一写这样的问题。解决的问题:在具有隐变量的情况下,计算概率函数中的未知参数。隐变量通常参与过程,而不是独立作为因出现,P(y;Θ)P(y;Θ)P(y;Θ)作为优化函数,并不存在Z这样的隐变量。但是引入Z可以极大的加快...原创 2019-03-19 20:12:00 · 409 阅读 · 0 评论 -
统计学习第五章-决策树-减枝
统计学习第五章-决策树-减枝决策树减枝概述决策树减枝方法1.预剪枝2.后剪枝方法1.REP2.PEP代价复杂度剪枝:EBP:决策树减枝概述理想的决策树有三种:1.叶子节点数最少2.叶子加点深度最小3.叶子节点数最少且叶子节点深度最小。在实际的操作中还会设计到ID3算法的收敛,过度拟合等问题下面依次进行描述1.ID算法收敛2.过度拟合问题1.ID3算法的收敛当ID3确定根节点以...转载 2019-03-14 21:34:38 · 1196 阅读 · 0 评论 -
统计学习方法-第五章
统计学习第四章-决策树决策树决策树的条件概率分布特征选择1.信息熵2.条件熵(Conditional Entropy)与信息增益(Information Gain)3.信息增益做特征选择的优缺点4.信息增益比(Infomation Gain Ratio)5.Gini系数决策树生成ID3算法C4.5算法决策树的减枝CART算法回归树的生成分类树的生成决策树决策树是一种常见的if-then规则的集...原创 2019-03-14 21:12:44 · 752 阅读 · 0 评论 -
统计学习方法-第二章
统计学习方法-第二章感知机学习算法n维空间的标准方程w⋅x+b=0w·x+b=0w⋅x+b=0是标准n维空间方程,其中w=(x1,x2,…,Xn)Tw=(x_1,x_2,\ldots,X_n)^Tw=(x1,x2,…,Xn)T,bbb是超平面的截距,通常数据集为T={(x1,y1),(x2,y2),…,(xN,yN)}T=\left \{ (x_1,y_1),(x_2,y_2),\do...原创 2019-03-10 14:54:55 · 206 阅读 · 0 评论 -
统计学习方法-第四章
统计学习第四章-贝叶斯分类器条件概率和全概率公式似然估计半朴素贝叶斯EM算法python实现李航的统计学习方法写的很少,结合西瓜书,说一下自己的理解。条件概率和全概率公式由已知的数据集去估计关于(x,y)(x,y)(x,y)的联合分布f(x,y)f(x,y)f(x,y)或P(x,y)P(x,y)P(x,y),在已知x的情况下,求y。对于连续型,条件分布函数如下,概率密度为对其积分∫−∞yf(...原创 2019-03-13 16:03:17 · 469 阅读 · 0 评论