机器学习
文章平均质量分 91
K24B;
这个作者很懒,什么都没留下…
展开
-
决策树(ID3,C4.5,CART)
ID3ID3ID3采用信息增益进行划分,C4.5C4.5C4.5采用信息增益率进行划分克服ID3ID3ID3对特征选择值比较多的偏好,CARTCARTCART采用基尼指数进行划分,克服C4.5C4.5C4.5计算量大的缺点。选择的标准是信息增益(率)越大越好,而基尼指数越小越好。ID3ID3ID3没有剪枝策略,C4.5C4.5C4.5是通过悲观剪枝策略来修正树的准确性,而CARTCARTCART是通过代价复杂度剪枝。ID3。原创 2023-06-24 14:34:48 · 190 阅读 · 1 评论 -
EM算法的理解
EM算法解决这个问题使用的是迭代的方法,既然我们无法直接求解出模型的参数,那就先猜想缺失的数据(EM算法的E步),然后再利用观测样本和猜想的缺失数据极大化对数似然函数,求解模型的参数(EM的M步)。由于我们之前的缺失的数据是猜想来的,故第一次求解出来的参数大概率不是最终的结果,不过没关系,基于当前的参数,我们可以继续利用样本猜测缺失的数据(EM算法的E步),然后继续极大化对数似然,求解我们的模型参数(EM算法的M步)。以此类推,不断的迭代下去,直到模型分布参数基本无变化,算法收敛,找到合适的模型参数。原创 2023-06-22 13:24:49 · 49 阅读 · 1 评论 -
机器学习 聚类
KKK一张图带你看明白密度聚类上面分别是采用K-Means,Gaussian Mixture ,DBSCAN(密度聚类)的方式来对样本进行分类的结果。可以直观看到,密度聚类的优势在于能够发现任何形状的类。层次聚类试图在不同层次对数据集进行划分,从而形成树形的聚类结构。数据集划分既可采用“自底向上”的聚合策略,也可采用“自顶向下”的分拆策略。AGNES算法(agglomerative nesting,自底向上的层次聚类算法)是比较常用的一种层次聚类算法。原创 2023-06-18 22:41:59 · 651 阅读 · 1 评论 -
利用K_means分割图像(opencv的安装,K_means代码)
安装包:,这里只需要找到自己所需要的版本号即可,不用手动安装。我们目测一下图中有7中不同颜色的区域,故k=7。然后看下面这个教程,跟着教程做。安装完成之后,就可以写代码了。,然后根据版本号安装。原创 2023-06-16 13:55:12 · 288 阅读 · 1 评论 -
逻辑回归(详细)
线性回归模型到逻辑回归模型的区别与联系:线性回归与逻辑回归对目标函数求导形式相同线性回归与逻辑回归都使用了最大似然估计的思想求得目标函数,并用梯度下降的方法求得参数w输出类型:线性回归是用于连续数值预测的回归问题,它的输出是一个实数。逻辑回归是用于分类问题,输出是一个介于0和1之间的概率值,表示样本属于某一类别的概率。数据分布假设:线性回归假设因变量与自变量之间存在线性关系,并且误差项服从正态分布。逻辑回归假设因变量服从二项分布,即分类结果服从伯努利分布。原创 2023-06-15 11:16:02 · 1022 阅读 · 2 评论 -
机器学习线性回归
极大似然估计的思想:寻找一个参数www,使得似然函数Lw∣x1x2⋯xnLw∣x1x2⋯xn,达到最大,也就是说,找到一个参数w使得观测样本出现的概率最大。独立同分布假设:在采样时,每个样本都是从总体中独立、随机地抽取出来的,并且每个样本的特征与响应变量之间的关系相同。随机误差假设:误差项 ϵ 是独立同分布的随机变量,且满足均值为 0,方差为σ2σ^2σ2的正态分布线性回归的考虑参数的先验分布则损失函数包含正则化,否则不包含正则化项。原创 2023-06-12 23:08:45 · 570 阅读 · 0 评论 -
机器学习SVM(1-5)
SVM上篇1 . SVM分类的基本思想1.1 线性分类器1.2 支撑平面和支撑向量1.3 margin的表示及目标函数1.4 SVM的约束条件1.5 最优化问题2 . 构造拉格朗日乘数法2.1 等式约束优化2.2不等式约束优化2.3 SVM的kkt条件3.对偶问题3.1拉格朗日对偶问题3.2为什么引入对偶问题而不直接求解呢4.利用拉格朗日对偶求解SVM参数5.soft SVM5.1 解决实际问题5.2优化目标以及求解5.3 损失的表示5.3.1 0/1损失5.3.2 0/1损失的替代损失5.4 与SVM原创 2023-06-09 21:08:04 · 229 阅读 · 0 评论 -
机器学习SVM(6-10)
支持向量机(SVM)的思想是在特征空间中寻找最优的超平面,将不同类别的样本分开,并且使得超平面到最近的样本点的距离最大化。原创 2023-06-09 21:04:41 · 79 阅读 · 0 评论