![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘与机器学习
文章平均质量分 63
白亿星星
这个作者很懒,什么都没留下…
展开
-
贝叶斯分类器
一、贝叶斯决策论原创 2021-05-10 12:28:58 · 132 阅读 · 0 评论 -
集成学习
1.几个重要结论:基学习器的误差相互独立的情况下,随着集成中个体分类器数目T的增大,集成的错误率将指数级下降,最终趋向于零。集成学习目前分为串行序列化方法和并行化方法。2.原创 2021-04-28 23:36:13 · 212 阅读 · 0 评论 -
聚类方法
一、原型聚类1.k-means聚类2.学习向量量化(Learning Vector Quantization,LVQ)LVQ针对于带有类别标记的数据样本,学习过程利用样本的监督信息(类别标记)来辅助聚类。对样本xj,若最近的原型向量pi∗与xj类别标记相同,则令 pi∗向xj的方向靠拢。3.高斯混合聚类(采用概率模型来表达聚类原型)1)定义高斯混合分布2)样本生成过程定义:3)EM法迭代优化求解例题:二、密度聚类基础概念:三、层次聚类参考https原创 2021-04-26 14:47:09 · 96 阅读 · 0 评论 -
决策树
一、算法流程:决策树的生成是个递归的过程,显然能发现三种导致递归返回的情况:1、当前节点所包含的样本全部属于同一类,无需划分 。这时将结点化为叶子结点,样本属于该类别。2、属性集为空或者数据集在当前属性集上所有取值相同,无法划分 。这时将结点化为叶子结点并将样本归属于多数类。3、当前节点所包含的样本集合为空,不能划分。这时将结点化为叶子结点并将样本归属于父节点的多数类。二、划分选择1.信息增益:例题:根据西瓜数据集建立决策树。然后分别对剩下的五个属性按照此方法计算,得到最终如下的原创 2021-04-16 00:08:54 · 566 阅读 · 0 评论 -
概率图模型
概率图模型大致可分为两类:若使用有向无环图表示变量之间的依赖关系,称为贝叶斯网(Bayesian nerwork)或有向图模型;若使用无向图表示变量间的相关关系,则称为马尔可夫网(Markov network)或无向图模型。一、隐马尔科夫模型(HMM)——动态贝叶斯网马尔科夫链:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态。基于马尔科夫链的依赖关系,所有变量的联合概率分布为:其中,P(yi|yi-1)体现了马尔科夫链的性质,P(xi|yi)体现了观测变量由状态变量决定。定义原创 2021-04-10 13:04:21 · 206 阅读 · 0 评论 -
降维(特征选择与提取)
一、主成分分析PCA算法内容:所选超平面性质:最近重构性、最大可分性可从重构角度设置一个重构阈值t,例如t=0.95,然后选取下式成立的最小d*值:核化线性降维(KPCA):以核函数k(xi,xj)=Φ(Xi)TΦ(Xj)的形式代替XTX。KPCA在计算降维后的坐标表示时,需要与所有样本点计算核函数值并求和,因此该算法的计算开销十分大二、流形学习思想:若低维流形嵌入到高维空间中,泽数据样本在高维空间的分布虽然看上去非常复杂,但在局部上仍具有欧氏空间的性质。因此,可以容易地在局部建立降维映射原创 2021-04-08 17:56:58 · 467 阅读 · 0 评论 -
深度信念网络(DBN)
这个博主讲的很好!!!https://blog.csdn.net/rogerchen1983/article/details/79407386转载 2021-04-07 13:39:00 · 75 阅读 · 0 评论 -
交叉熵与相对熵(KL散度)
一、熵二、相对熵(KL散度)P表示样本的真实分布,Q表示模型所预测的分布,那么KL散度就可以计算两个分布的差异,也就是Loss损失值。Q的分布越接近P(Q分布越拟合P),那么散度值越小,即损失值越小。有时会将KL散度称为KL距离,但它并不满足距离的性质:不对称;不满足三角不等式。三、交叉熵我们将KL散度公式进行变形:前一部分恰巧就是p的熵,等式的后一部分,就是交叉熵:在机器学习中,我们需要评估label和predicts之间的差距,使用KL散度刚刚好,由于KL散度中的前一部分原创 2021-04-07 13:23:03 · 1342 阅读 · 0 评论 -
抑制过拟合&&参数选择原则
一、dropout二、参数选择原则1.过拟合:添加更多层,更大的层,更多训练次数2.抑制过拟合:更多训练数据,dropout,正则化,图像增强3.再次调节超参数:学习速率,隐藏层单元数,训练次数...原创 2020-11-29 22:22:08 · 400 阅读 · 0 评论 -
支持向量机SVM
一、支持向量机①基本模型(转化为最优化问题):②使用拉格朗日乘子法可以获得其对偶问题:③对偶问题:满足KKT条件:④求解α:(SMO算法)违背了KKT条件,就会距离目标函数的优化越来越远,当目标函数的优化目标是取最大值时,目标函数在违背KKT条件下的实例下的函数值就会减小;当目标函数的优化目标是最小值时,目标函数在违背KKT条件下的实例下的函数值就会变大。对偶化的目标函数的优化方向是取最大值,所以说目标函数在当前违背KKT条件下的实例的函数值是减小的。SMO高效性:仅考虑αi和α原创 2021-03-30 14:21:55 · 432 阅读 · 0 评论 -
模型评估与选择
一、评估方法.1、留出法(分层采样)2、交叉验证法:p次k折交叉验证:划分为p个子集并训练k次,当k=m(样本总数)时,称为留一法3.自助法(放回/不放回):在集成学习等方法中好处很多,但由于改变了初始数据集的分布,引入了估计偏差二、性能度量错误率精度...原创 2021-03-16 19:06:03 · 510 阅读 · 1 评论 -
数据
1.定义属性层次的变换分类:标称(=,≠),序数(>,<)数值:区间(+,-),比率(*,/)非对称的二元属性:只有非零属性值重要的二元属性2.数据质量测量误差和数据收集错误噪声noise和伪像artifact(数据的确定性失真)精度precision、偏置bias、准确率accuracy离群点outlier遗漏值omission不一致的值数据重复deduplication -> 数据清洗3.数据预处理聚集:...原创 2021-03-16 00:29:09 · 302 阅读 · 0 评论