统计学习方法中的算法Python实现
Systemd
此人已经懒死了
展开
-
统计学习方法中算法实现(基于Python)--- 感知机及SGD、BGD、MBGD的区别
1.感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型:f(x)=sign(w⋅x+b)f(x)=\operatorname{sign}(w \cdot x+b)f(x)=sign(w⋅x+b)感知机模型对应于输入空间(特征空间)中的分离超平面w⋅x+b=0w \cdot x+b=0w⋅x+b=0。2.感知机学习的策略是极小化损失函数:minw,bL(w,b)=−∑...原创 2019-07-25 20:44:53 · 748 阅读 · 0 评论 -
统计学习方法中算法实现(基于Python)--- KNN
k近邻法1.kkk近邻法是基本且简单的分类与回归方法。kkk近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的kkk个最近邻训练实例点,然后利用这kkk个训练实例点的类的多数来预测输入实例点的类。2.kkk近邻模型对应于基于训练数据集对特征空间的一个划分。kkk近邻法中,当训练集、距离度量、kkk值及分类决策规则确定后,其结果唯一确定。3.kkk近邻法三要素:距离度量、...原创 2019-07-26 21:23:39 · 179 阅读 · 0 评论 -
统计学习方法中算法实现(基于Python)--- 朴素贝叶斯
1.朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 P(X,Y)P(X,Y)P(X,Y),然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)。具体来说,利用训练数据学习P(X∣Y)P(X|Y)P(X∣Y)和P(Y)P(Y)P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X∣Y)P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X∣Y)概率估计方...原创 2019-07-31 22:18:50 · 183 阅读 · 0 评论 -
统计学习方法中算法实现(基于Python) --- 决策树
1.分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布。2.决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策树。决策树学习算法包括3部分:特征选择、树的生成和树的剪枝。常用的算法有ID3、 C...原创 2019-08-05 20:23:10 · 303 阅读 · 0 评论 -
统计学习方法中的算法实现(基于Python) --- SVM
1.支持向量机最简单的情况是线性可分支持向量机,或硬间隔支持向量机。构建它的条件是训练数据线性可分。其学习策略是最大间隔法。可以表示为凸二次规划问题,其原始最优化问题为minw,b12∥w∥2\min _{w, b} \frac{1}{2}\|w\|^{2}w,bmin21∥w∥2s.t.yi(w⋅xi+b)−1⩾0,i=1,2,⋯ ,Ns.t. \quad y...原创 2019-08-13 21:42:08 · 312 阅读 · 0 评论 -
统计学习方法中算法实现(基于Python) --- 逻辑回归
逻辑斯谛回归(LR)是经典的分类方法1.逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk⋅x),k=1,2,⋯ ,K−1P(Y=k | x)=\frac{\exp \left(w_{k} \cdot x\right)}{1+\sum_{k=1}^{K-1...原创 2019-08-10 17:37:08 · 176 阅读 · 0 评论 -
统计学习方法中算法实现(基于Python) --- EM算法
1.EM算法是含有隐变量的概率模型极大似然估计或极大后验概率估计的迭代算法。含有隐变量的概率模型的数据表示为θ\thetaθ 。这里,YYY是观测变量的数据,ZZZ是隐变量的数据,θ\thetaθ 是模型参数。EM算法通过迭代求解观测数据的对数似然函数L(θ)=logP(Y∣θ){L}(\theta)=\log {P}(\mathrm{Y} | \theta)L(θ)=logP(Y∣θ)的极大化...原创 2019-08-18 15:39:12 · 569 阅读 · 0 评论