机器学习
文章平均质量分 79
new60ll
渴望学习
展开
-
adaboost提升方法
集成学习:串联(提升方法),并联(随机森林)Adaboost:分类加法模型(更新样本权值,投票权值-由权值误差率决定)提升树:回归加法模型 (更新标签:为上次模型的残差,由平方误差最小原则学得弱分类器)(Adaptive Boosting)是一种流行的提升方法,它通过迭代地组合多个弱分类器来构建一个强分类器。原创 2024-08-05 18:27:17 · 277 阅读 · 0 评论 -
支持向量机
支持向量机是一种监督学习算法,主要用于。原创 2024-08-03 18:21:56 · 1004 阅读 · 0 评论 -
比较支持向量机、AdaBoost、逻辑斯谛回归模型的学习策略与算法
适合线性和非线性问题,通过核技巧可以处理非线性分类和回归任务。主要用于分类问题,但也可以应用于回归问题。缺点:对于大规模数据集和特征数量较多的情况可能计算复杂度较高,对参数的选择和核函数的设计敏感。学习算法:提升树算法等,通过逐步提升样本分布的效果来训练每个弱分类器,并逐步更新样本权重。优点:简单、易于理解和实现,计算开销小,适用于线性可分或近似线性可分的情况。缺点:对于非线性数据拟合能力有限,容易受到异常值干扰,无法处理复杂的关系。缺点:对异常值敏感,需要谨慎处理,对噪声干扰较大,训练时间较长。原创 2024-08-03 16:45:41 · 272 阅读 · 0 评论 -
Logistic回归
虽然 Logistic 回归的名字叫作回归,但其实它是一种分类方法!!!原创 2024-08-02 23:42:46 · 311 阅读 · 0 评论 -
决策树基础
一个属性的信息增益(率)大/Gini指数越小,表明属性对样本的熵减少的能力更强,这个属性使得数 据由不确定性变成确定性的能力越强。优点:易于理解和解释:决策树的结构类似于流程图,可以直观地展示数据是如何被分割的,以及如何根据特征做出决策。数据要求不高:决策树可以处理数值型和类别型数据,不需要复杂的数据预处理。特征重要性评估:可以识别哪些特征对分类结果影响最大,提供特征重要性的信息。处理缺失值:一些算法可以在构建树的过程中处理缺失值。非线性:决策树可以捕捉数据中的非线性关系。多类问题。原创 2024-07-31 23:45:57 · 872 阅读 · 0 评论 -
朴素贝叶斯
朴素贝叶斯是一种基于贝叶斯定理的分类算法,它的核心思想是:在已知某些条件下,预测一个事件发生的概率。在分类问题中,我们通常根据特征来预测一个对象属于哪个类别。朴素贝叶斯之所以“朴素”,是因为它假设所有特征都是相互独立的,这大大简化了概率计算。2.实例假如已知一个人的职业可能是图书管理员或者农民,而已知这两种职业的人数比为:1:20,又根据其他人的口中得到信息,描述此人为图书管理员的概率为0.95,描述此人为农民的概率为0.5。判断此人是图书管理员还是农民?原创 2024-07-29 23:59:14 · 222 阅读 · 0 评论 -
生成模型与判别模型
判别模型的目标是直接从数据中学习决策边界,以便对新的数据实例进行分类或回归。它们通常用于分类、回归、聚类等领域。生成模型的目标是学习数据的分布,然后能够生成新的数据实例。它们通常用于数据建模、图像生成、文本生成等领域。原创 2024-07-25 19:01:49 · 203 阅读 · 0 评论 -
sklearn调用
在数据科学和机器学习领域,Python 凭借其简洁的语法和强大的库支持,成为了最受欢迎的编程语言之一。而在众多的 Python 机器学习库中,scikit-learn 以其全面的功能、易用性和灵活性脱颖而出。本文将带你深入了解 scikit-learn,探索其核心组件和高级用法,帮助你在机器学习项目中更加得心应手。scikit-learn 是一个基于 Python 的开源机器学习库,建立在 NumPy、SciPy 和 matplotlib 这些科学计算库之上。原创 2024-07-26 09:22:57 · 835 阅读 · 0 评论 -
KNN算法
K值的选择对KNN算法的性能有重要影响。K值太大,模型可能会受到远离新数据点的训练样本的影响,导致欠拟合。使用算法:首先需要输入样本数据和结构化的输出结果, 然后运行k-近邻算法判定输入数据分别属于哪个分类, 最后应用对计算出的分类执行后续的处理。对待分类样本,计算与所有已知样本的距离,获得最近k个样本的标签,“权值最多数”类别为输出待分类样本类别。KNN算法中,距离度量是核心,它决定了如何计算新数据点与训练数据点之间的相似度。KNN算法的决策规则决定了如何根据K个最近邻的已知类别来确定新数据点的类别。原创 2024-07-28 21:53:31 · 635 阅读 · 0 评论 -
感知机与对偶算法:基础与应用
感知机是一种线性二分类模型,最早由Rosenblatt在1957年提出。本文将介绍感知机的基本原理、原感知机算法以及其对偶算法。原创 2024-07-27 17:52:13 · 784 阅读 · 0 评论