统计学习方法
文章平均质量分 82
统计学习方法代码实现
何如千泷
这个作者很懒,什么都没留下…
展开
-
统计学习方法之聚类算法
五大常见的聚类算法1. K-Means2. Mean Shift3. DBSCAN4. 层次聚类5. 谱聚类五大常见的聚类算法比较原创 2021-10-28 11:34:08 · 115 阅读 · 0 评论 -
统计学习方法之隐马尔可夫模型
隐马尔可夫模型1. 基本概念1.1 定义隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测从而产生观测随机序列的过程。隐马尔科夫链生成的状态序列,称为状态序列;每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可看作为一个时刻。隐马尔可夫模型的形式定义如下:设QQQ是所有可能的状态的集合,VVV是所有可能的观测的集合:Q={q1,q2,...,qN},V={v1,v2,...,vM}Q=\{q_1原创 2021-10-25 15:57:25 · 250 阅读 · 0 评论 -
统计学习方法之EM算法
EM算法一般地,用YYY表示观测随机变量的数据,ZZZ表示隐随机变的数据。YYY和ZZZ连在一起称为完全数据。假设给定观测数据YYY,其概率分布是P(Y∣θ)P(Y|\theta)P(Y∣θ),其中θ\thetaθ是需要估计地模型参数。EM算法通过迭代求L(θ)=logP(Y∣θ)L(\theta)=logP(Y|\theta)L(θ)=logP(Y∣θ)的极大似然估计。每次迭代包含两步:EEE步,求期望;MMM步,求极大化。1. 算法流程输入:观测变量数据Y,隐变量数据Z,联合分布P(Y,Z∣θ)原创 2021-10-24 16:47:08 · 2360 阅读 · 0 评论 -
统计学习方法之Adaboost提升方法
AdaBoost算法AdaBoost算法通过提高那些被前一轮弱分类器错误分类样本的权重,而降低那些被正确分类样本的权重,使得被错误分类样本受到后一轮的弱分类器的更大关注。算法流程输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)},其中xi∈Rn,yi∈{−1,+1};;弱学习算法输入:训练数据集T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},其中x_i \in R^n,y_i \in \{-1, +1\};;弱学习算法输入:训练数据集T={(原创 2021-10-23 16:02:51 · 101 阅读 · 0 评论 -
统计学习方法之支持向量机
文章目录函数间隔和几何间隔1.函数间隔2.几何间隔支持向量机SVMSVM模型的建立1.硬间隔模型2.软间隔模型(松弛变量&惩罚因子)松弛变量惩罚因子模型的求解1.拉格朗日对偶性2.序列最小最优化算法SMO2.1 问题转化2.2 转化为一个二元函数2.3 转化为一个一元函数2.4 对一元函数求极值点2.5 解的约束条件2.6 求解另一个变量2.7 如何选择两个变2.8 阈值b的更新与计算SV...原创 2021-10-23 11:41:09 · 322 阅读 · 0 评论 -
统计学习方法之最大熵模型
最大熵模型1. 最大熵原理最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。假设离散随机变量XXX的概率分布是P(X)P(X)P(X),则熵为H(P)=−∑xP(x)logP(x)H(P)=-\sum_xP(x)logP(x)H(P)=−x∑P(x)logP(x)熵满足下列不等式:0≤H(P)≤log∣X∣0 \leq H(P) \leq log|X|0≤H(P)≤log∣X∣其中,∣X∣|X|∣X∣是XXX的取值个数,当XXX服从均匀分布时,熵最大。原创 2021-10-22 23:51:39 · 386 阅读 · 0 评论 -
统计学习方法之逻辑斯谛回归
逻辑斯谛回归Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类1. 逻辑斯谛分布设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X \leq x)=\frac {1} {1+e^{-(x-\mu)/\gamma}}F(x)=P(X≤x)=1+e−(x−μ)/γ1f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2f(x)=F'(x)=\fra原创 2021-10-22 15:14:30 · 290 阅读 · 0 评论 -
统计学习方法之感知机
统计学习方法之感知机1. 感知机模型定义:假设输入空间是X⊆Rn\mathcal{X} \subseteq \mathbf{R}^{n}X⊆Rn,输出空间是Y={+1,−1}\mathcal{Y}=\{+1,-1\}Y={+1,−1}。输入x∈Xx \in \mathcal{X}x∈X表示实例的特征向量,对应于输入空间的点;输出y∈Yy \in \mathcal{Y}y∈Y表示实例的类别。由输入空间到输出空间的如下函数:f(x)=sign(w⋅x+b)f(x)=\operatorname{sign}(原创 2021-09-11 09:39:53 · 150 阅读 · 0 评论 -
统计学习方法之k近邻法
统计学习方法之k近邻法1. k近邻算法Input:Input:Input:T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}其中,xi∈X⊆Rn为实例的特征向量T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}其中, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n} 为实例的特征向量T={原创 2021-09-11 09:39:33 · 279 阅读 · 0 评论 -
统计学习方法之决策树
1. 决策树模型与学习1.1 决策树模型分类决策树模型是一种描述对实例进行分类的树形结构。决策数由节点和有向边组成。节点有两种类型:内部节点和叶节点。内部节点表示特征,叶节点表示类。如图所示:1.2 决策树学习决策树学习算法:特征选择:如果特征数量很多,也可以在决策树学习开始的时候,对特征进行选择,只留下对训练数据有足够分类能力的特征。决策树的生成:决策树学习的算法通常是 个递归地选择最优特征,并根据该特征对训练数据进行分剖,使得对各个子数据集有一个最好的分类的过程。决策树的剪枝:我们原创 2021-09-11 09:39:15 · 195 阅读 · 0 评论 -
统计学习方法之朴素贝叶斯法
统计学习方法之朴素贝叶斯法1. 朴素贝叶斯法的学习与分类1.1 基本方法输入空间 : X⊆Rn\mathcal{X} \subseteq \mathbf{R}^{n}X⊆Rn输出空间 : y∈Y={c1,c2,⋅⋅⋅,cK}y \in \mathcal{Y}=\{c_1,c_2,\cdot \cdot \cdot, c_K\}y∈Y={c1,c2,⋅⋅⋅,cK}训练数据集 : T={(x1,y1),⋅⋅⋅,(xN,yN)}T=\{(x_1,y_1),\cdot \cdot \cdot, (原创 2021-09-11 09:36:45 · 199 阅读 · 2 评论