- 博客(17)
- 收藏
- 关注
RSS订阅原创 信号与估计
信号估计CRLB的推导设计最优线性估计器用最大似然估计或最小二乘估计解决实际问题CRLB的推导1. 估计量的衡量标准对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个估计器（estimator, 也称估计量或估计算法）的性能，我们主要考量以下三个方面1.无偏性(unbiased)。对于参数估计问题，设未知参数θ，估计器模型θ^\hatθθ^。则有E[θ^]=θE[\hatθ...
2019-06-03 20:20:17
499
原创 频率学派及机器学习基础
频率学派及机器学习基础1.关于贝叶斯学派和频率学派的一点认识贝叶斯决策和机器学习极大似然估计(ML)最大后验估计（MAP）贝叶斯估计gamma函数二项分布Beta分布多项式分布Dirichlet分布共轭先验分布Beta-Binomial共轭Dirichlet-Multinomial共轭1.关于贝叶斯学派和频率学派的一点认识我在CSDN上看到过这样的一个解释：频率 vs 贝叶斯 = P(X;θ)...
2019-04-18 15:58:59
681
原创 机器学习整理-梯度下降及其优化算法
引言：梯度下降是一种用于计算目标解的迭代计算方法，本文讲解梯度下降有关的详细算法及优化梯度下降（GD）·概念理解：指数衰减：满足迭代公式vt=αvt−1−(1−α)Ttv_t =αv_{t-1}- (1-α)T_tvt=αvt−1−(1−α)Tt的为指数衰减梯度：对于可微的数量场f(x,y,z)f(x,y,z)f(x,y,z) ,以(∂f∂x,∂f∂y,∂f∂z)(\frac{\p...
2019-04-16 21:11:37
475
原创 统计学习方法-总结
统计学习方法总结及未来规划关于第11章，这一章不想说什么，关于概率图，贝叶斯有向图，等一系列问题，我打算去深入看看。我发现我写的博客就是垃圾，为什么，很多东西没讲清楚，不求甚解，甚至原理推导都有很多问题，但是这并不妨碍我决定入这一行的决心，曾经的辉煌已经没落，大学四年失去了太多，浪费时间，打游戏，很多问题都显露出来。我曾经以为只有一部分人是我这样，但是后来我发现很多人都是这样，为什么，大二的时...
2019-03-21 19:03:44
261
原创 统计学习方法-第十章
统计学习方法-第十章-隐马尔可夫模型隐马尔可夫模型定义前向算法学习算法预测算法近似算法维特比算法隐马尔可夫模型定义初始概率分布：向量π=P(i1=qi)π = P(i_1=q_i)π=P(i1=qi)观测概率矩阵：B=[bj(k)]N×MB=[b_j(k)]_{N×M}B=[bj(k)]N×M其中bj(k)=P(ot=vk∣it=qj)k=1,2,...,M;j=1,2,...,N...
2019-03-20 13:11:05
314
原创 统计学习方法-第九章
统计学习方法-第九章-EM算法EM算法的原理三硬币问题EM算法的提出算法的敛散性EM算法的原理我反思了一下最近的文章，发现，我好像一直逻辑很混乱，所以我决定用，因果关联的方法写一写这样的问题。解决的问题：在具有隐变量的情况下，计算概率函数中的未知参数。隐变量通常参与过程，而不是独立作为因出现，P(y;Θ)P(y;Θ)P(y;Θ)作为优化函数，并不存在Z这样的隐变量。但是引入Z可以极大的加快...
2019-03-19 20:12:00
397
原创 统计学习方法-第八章
统计学习第八章-提升方法提升方法AdaBoost向前分布算法提升树模型提升方法AdaBoost算法如下：(1)假设每个数据具有相同的权值，训练出基分类器G1(x)G_1(x)G1(x),(2.1)使用当前加权Dm，进行基分类器的学习Gm(x)G_m(x)Gm(x)。(2.2)计算误差率，即分类结果与实际结果不相同em=∑i=1NP(Gm(xi)≠yi)=∑Gm(xi)≠yiwmi...
2019-03-18 11:45:20
243
原创 统计学习方法-第七章
统计学习第七章-支持向量支持向量的数学表达支持向量软间隔化线性支持向量支持向量的数学表达在n维空间上，使用一个n维度的超平面将其划分开来，常用的用于二分类，数据类型为(x1,x2...，xn,y)(x_1,x_2...，x_n,y)(x1,x2...，xn,y)。y通常为正例和返例，学习的超平面划分方程为：w∗⋅x+b∗=0w^*·x +b^* = 0w∗⋅x+b∗=0几何间隔距...
2019-03-16 17:12:42
307
原创 统计学习方法-第六章
统计学习第六章-最大熵模型最大熵的选择问题熵、联合熵、条件熵、互信息的关系最大熵模型特征函数的细致探讨特征函数的估计$E_{P}(f)$最大熵模型改进尺度迭代法IIS最大熵的选择问题熵、联合熵、条件熵、互信息的关系熵之间的关系问题，不涉及到交叉熵等。为什么选择最大熵，物理学中，系统往往向着熵增加的方向发展，所以系统的熵越大，则系统的稳定性越高，当然系统的未知性也越高，例如简单的，水和无水乙...
2019-03-15 20:40:09
374
转载 统计学习第五章-决策树-减枝
统计学习第五章-决策树-减枝决策树减枝概述决策树减枝方法1.预剪枝2.后剪枝方法1.REP2.PEP代价复杂度剪枝：EBP：决策树减枝概述理想的决策树有三种：1.叶子节点数最少2.叶子加点深度最小3.叶子节点数最少且叶子节点深度最小。在实际的操作中还会设计到ID3算法的收敛，过度拟合等问题下面依次进行描述1.ID算法收敛2.过度拟合问题1.ID3算法的收敛当ID3确定根节点以...
2019-03-14 21:34:38
1098
原创 统计学习方法-第五章
统计学习第四章-决策树决策树决策树的条件概率分布特征选择1.信息熵2.条件熵(Conditional Entropy)与信息增益（Information Gain）3.信息增益做特征选择的优缺点4.信息增益比(Infomation Gain Ratio)5.Gini系数决策树生成ID3算法C4.5算法决策树的减枝CART算法回归树的生成分类树的生成决策树决策树是一种常见的if-then规则的集...
2019-03-14 21:12:44
740
原创 统计学习方法-第四章
统计学习第四章-贝叶斯分类器条件概率和全概率公式似然估计半朴素贝叶斯EM算法python实现李航的统计学习方法写的很少，结合西瓜书，说一下自己的理解。条件概率和全概率公式由已知的数据集去估计关于(x,y)(x,y)(x,y)的联合分布f(x,y)f(x,y)f(x,y)或P(x,y)P(x,y)P(x,y),在已知x的情况下，求y。对于连续型，条件分布函数如下，概率密度为对其积分∫−∞yf(...
2019-03-13 16:03:17
465
原创 KNN以及K-D树的基本实现
KNN以及K-D树的基本实现kd树的搜索方式至下而上的搜索至上而下的搜索方式KNN一般算法kd树的搜索方式至下而上的搜索kd树的基本逻辑是，建立k-d树：def findtree(树，当前维度 = 1，点)： if 当前树只有一个节点： return 该节点，搜索路径 if 点[当前维度]<树的当前节点[当前维度]： findtree(树，当前维度>>1，点)...
2019-03-12 21:27:31
901
原创 统计学习方法-第三章
统计学习方法第三章统计学习方法-第三章KNN算法原理及其实现数据集基本结构基本原理距离$k$的取值k-d树及树的操作寻找k-d树d维最小坐标值点算法新增节点新增节点KNN基于k-d树的算法二分类（习题3.3）统计学习方法-第三章KNN算法原理及其实现数据集基本结构该数据结构用于描绘伪代码，在平面空间的二分类问题索引列索引1列索引2标签行索引1x11x_{11}x...
2019-03-11 21:19:29
411
原创 统计学习方法-第二章
统计学习方法-第二章感知机学习算法n维空间的标准方程w⋅x+b=0w·x+b=0w⋅x+b=0是标准n维空间方程，其中w=(x1,x2,…,Xn)Tw=(x_1,x_2,\ldots,X_n)^Tw=(x1,x2,…,Xn)T,bbb是超平面的截距，通常数据集为T={(x1,y1),(x2,y2),…,(xN,yN)}T=\left \{ (x_1,y_1),(x_2,y_2),\do...
2019-03-10 14:54:55
196
原创 统计学习方法-第一章
统计学习方法第一章关于统计的一些理解关于联合概率分布以及映射监督学习中的决策方式经验风险结构风险与决策方式泛化误差关于统计的一些理解机器学习的目的在于找到复杂数据中的关联性，数据的独立性越强，则有效数据越多，数据中包含着部分的真理，数据科学家的目的在于找出关联性，即联合分布函数或者映射。关于联合概率分布以及映射联合概率分布的基本定义不再赘述，在机器学习中关于X，YX，YX，Y的分布并非独立...
2019-03-09 16:48:47
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人