机器学习
文章平均质量分 87
小小硕、
这个作者很懒,什么都没留下…
展开
-
机器学习——最大熵模型
机器学习——最大熵模型最大熵原理最大熵模型最大熵模型的学习最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归和最大熵模型都属于对数线性回归。最大熵原理最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。假设离散随机变量XXX的概率分布是P(X)P(X)P(X),则其熵是H(P)=−∑xP(x)logP(x)H ( P ) = - \sum _ { x } P ( x ) \log P (原创 2021-05-02 19:54:32 · 158 阅读 · 0 评论 -
机器学习——EM算法
机器学习——EM算法EM算法EM算法推导EM算法是一种迭代算法,用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计。EM算法的每次迭代由两步组成:E步,求期望(expcetation);M步,求极大(maximization)。所以这一算法称为期望极大算法(expectation maximization algorithm),简称EM算法。EM算法与初值的选择有关,选择不同的初值可能得到不同的参数估计值。EM算法不能保证找到全局最优值。EM算法概率模型有原创 2021-05-02 19:02:17 · 356 阅读 · 0 评论 -
机器学习——聚类方法
机器学习——聚类方法聚类基本概念层次聚类kkk均值聚类两种常用聚类方法:层次聚类(hierarchical clustering)和kkk均值聚类(k-means clustring)。层次聚类又有聚合(自下而上)和分裂(自下而上)聚类基本概念聚类的核心是相似度(similarity)或距离(distance)。样本间的相似度也可以用相关系数(correlation coefficient)来表示。相关系数的绝对值越接近于1,表示样本越相似;越接近于0,表示样本越不相似。相关系数定义为rij=∑k=原创 2021-04-24 19:36:54 · 197 阅读 · 0 评论 -
机器学习——k近邻法KNN
k近邻法kkk近邻算法kkk近邻模型距离度量kkk值的选择kkk近邻法(kkk-nearest neighber, kkk-NN)是一种基本分类与回归方法。kkk近邻算法输出:实例xxx所属的类yyy。(1) 根据给定的距离度量,在训练集TTT中找出与xxx最邻近的kkk个点,涵盖这kkk个点的xxx的邻域记作Nk(x)N_k(x)Nk(x)(2) 在Nk(x)N_k(x)Nk(x)中根据分类决策规则(如多数表决)决定x的类别y=argmaxcj∑xi∈Nk(x)I(yi=cj),i=1原创 2021-04-24 18:53:34 · 248 阅读 · 0 评论 -
机器学习——朴素贝叶斯法
朴素贝叶斯法基本方法朴素贝叶斯的参数估计贝叶斯估计朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。首先基于特征条件独立假设学习输入输出的联合概率分布,然后基于此模型,对给定的输入xxx,利用贝叶斯定理求出后验概率最大的输出yyy。基本方法通过训练数据集学习联合概率分布P(X,Y)P(X,Y)P(X,Y),Based on先验概率P(Y=ck)P(Y=c_k)P(Y=ck)和条件概率P(X=x∣Y=ck)P \left( X = x \mid Y = c _ { k原创 2021-04-24 11:46:54 · 80 阅读 · 0 评论 -
机器学习——主成分分析PCA
机器学习——主成分分析PCA基本思想主成分主要性质主成分分析(principal component analysis,PCA)是一种常用的无监督学习方法,把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据,线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数,所以主成分分析属于降维方法。基本思想首先,对数据进行规范化,平均值为0,方差为1.之后,对数据进行正交变换,通过正交变换变成由若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差的和最大的,即信息保原创 2021-04-24 11:00:22 · 214 阅读 · 0 评论 -
机器学习——支持向量机SVM
机器学习——SVM线性可分支持向量机和软间隔最大化超平面和硬间隔间隔最大化线性支持向量机和软间隔最大化非线性支持向量机与核函数核函数SMO支持向量机的(support vector machine, SVM)是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,还包括核技巧,这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划(convex quadratic programming)的问题。当训练数据线性可分时,通过硬间隔最大化(hard原创 2021-04-18 18:37:14 · 315 阅读 · 0 评论 -
机器学习——决策树
机器学习——决策树决策树信息增益——ID3决策树参考博客,决策树的关键就是,如何选择最优化分属性。一般而言,随着划分过程的不断进行,我们希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”越来越高。信息增益——ID3“信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合DDD中第kkk类样本所占的比例为pk(k=1,2,…,∣Y∣)p_{k}(k=1,2, \ldots,|\mathcal{Y}|)pk(k=1,2,…,∣Y∣),则DDD的信息熵定义为Ent(D)=−∑k原创 2020-12-06 12:08:27 · 201 阅读 · 0 评论 -
机器学习——线性模型
机器学习——线性模型线性模型基本形式线性回归线性模型基本形式给定由ddd个属性描述的示例x=(x1;x2;...;xd)\pmb{x}=(x_1;x_2;...;x_d)xxx=(x1;x2;...;xd),其中xix_ixi是x\pmb{x}xxx在第iii个属性上的取值,线性模型试图学的一个通过属性的线性组合来进行预测的函数,即f(x)=w1x1+w2x2+...+wdxd+bf(\pmb{x})=w_1x_1+w_2x_2+...+w_dx_d+bf(xxx)=w1x1+w2x2原创 2020-11-20 15:29:19 · 512 阅读 · 0 评论