![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 96
传统机器学习原理介绍
云天徽上
机器学习爱好者
展开
-
【Python数据挖掘实战案例】机器学习LightGBM算法原理、特点、应用---基于鸢尾花iris数据集分类实战
在数字化时代,数据已经成为企业和社会决策的重要依据。数据挖掘作为一门交叉学科,结合了统计学、机器学习、数据库技术和可视化等多个领域的知识,旨在从海量数据中提取有价值的信息,以支持商业决策、科学研究和社会治理。通过数据挖掘,企业可以发现市场趋势、优化产品设计、提升用户体验;科研人员可以揭示自然规律、推动学科发展;政府部门可以优化资源配置、提高治理效率。因此,数据挖掘在当今社会具有极其重要的地位和应用价值。原创 2024-06-06 10:47:58 · 11510 阅读 · 228 评论 -
【机器学习-23】关联规则(Apriori)算法:介绍、应用与实现
关联规则学习是一种数据挖掘技术,旨在发现数据集中项之间的有趣关系。这些关系通常以“如果…那么…”的形式呈现,表示一种条件与结论的关联性。在商业分析中,关联规则学习常用于识别顾客购买行为中的模式,例如哪些商品经常被一起购买。通过发现这些模式,企业可以制定更有效的营销策略,提高销售额和客户满意度。关联规则学习的重要性在于它能够从大量数据中提取出有价值的信息,帮助企业更好地理解客户行为和市场需求。这些信息不仅可以用于产品推荐、交叉销售等场景,还可以为企业的战略决策提供有力支持。原创 2024-05-26 18:53:36 · 6431 阅读 · 183 评论 -
【机器学习-22】集成方法---Boosting之AdaBoost
1.1*集成学习的概念**1.1.1集成学习的定义集成学习是一种通过组合多个学习器来完成学习任务的机器学习方法。它通过将多个单一模型(也称为“基学习器”或“弱学习器”)的输出结果进行集成,以获得比单一模型更好的泛化性能和鲁棒性。1.1.2集成学习的基本思想集成学习的基本思想可以概括为“三个臭皮匠顶个诸葛亮”。通过将多个简单模型(弱学习器)的预测结果进行组合,可以得到一个更强大、更稳定的模型(强学习器)。这种组合可以有效地降低单一模型的偏差和方差,从而提高整体的预测性能。1.1.3。原创 2024-05-04 21:25:06 · 8364 阅读 · 144 评论 -
【机器学习-21】集成学习---Bagging之随机森林(RF)
在机器学习的广袤领域中,集成学习是一种强大且灵活的策略,它通过将多个单独的学习器(或称为“基学习器”)组合起来,形成一个更加强大的学习器,以提升模型的预测性能。集成学习的核心思想在于“集体智慧”的力量,即多个学习器的联合决策通常会比单一学习器的决策更为准确和稳健。集成学习的重要性在于它能够有效解决单一学习器可能存在的过拟合、欠拟合、稳定性差等问题。通过将多个基学习器的预测结果进行综合,集成学习不仅能够提高预测精度,还能增强模型的鲁棒性和泛化能力。原创 2024-04-28 21:37:12 · 11047 阅读 · 258 评论 -
【机器学习-20】分类与预测算法评价的方式介绍
在机器学习中,分类算法的性能评价是至关重要的一环。不同的评价指标能够从不同角度反映算法的优劣,从而帮助我们更全面地理解算法的性能特点。以下将详细介绍几种常见的分类算法评价方式。原创 2024-04-19 17:17:40 · 14710 阅读 · 244 评论 -
【机器学习-19】集成学习---投票法(Voting)
集成学习是一种强大的机器学习方法,它通过构建并结合多个学习器(也称为“基学习器”或“弱学习器”)的预测结果来完成学习任务。集成学习的主要目的是通过结合多个学习器的预测结果来提高模型的泛化能力和鲁棒性,降低单一学习器可能存在的过拟合或欠拟合风险。集成学习的基本原理在于,不同的学习器往往具有不同的偏差和方差特性,它们在各自的训练数据集上可能会产生不同的预测结果。当我们将这些学习器的预测结果进行某种形式的结合时,可以期望它们的偏差和方差特性能够相互抵消或互补,从而得到更加稳定和准确的预测结果。原创 2024-04-25 18:02:29 · 13503 阅读 · 276 评论 -
【机器学习-18】特征筛选:提升模型性能的关键步骤
我们将介绍不同类型的特征筛选方法,包括基于统计的方法、基于模型的方法和嵌入式方法等,并详细解释每种方法的原理和适用场景。通过特征筛选,我们可以减少数据集的维度,降低模型的复杂度,提高模型的泛化能力,并加速模型的训练过程。通过选择适当的特征筛选方法,我们可以减少模型的复杂度,提高模型的泛化能力,并加速模型的训练过程。然而,并非所有的特征都对模型的性能提升有所贡献,有些特征甚至可能是冗余的、噪声较大的或者与目标变量无关的。我们的目标是通过特征筛选选择出对欺诈检测最有用的特征,以提高模型的预测精度。原创 2024-04-22 17:20:57 · 10969 阅读 · 268 评论 -
【机器学习-17】数据变换---小波变换特征提取及应用案列介绍
小波变换作为一种前沿的数据分析工具,近年来在信号分析领域崭露头角。小波分析的理论和方法凭借其独特优势,在信号处理、图像处理、语音处理、模式识别以及量子物理等多个领域得到了广泛的应用,堪称近年来在工具及方法上的重大突破。小波变换以其多分辨率的特性,在时域和频域均展现出对信号局部特征的强大表征能力。通过伸缩和平移等运算过程,小波变换能够对信号进行多尺度聚焦分析,为非平稳信号的时频分析提供了一种有效手段。它允许我们由粗及细地逐步观察信号,从而精准地提取出有用信息。原创 2024-04-16 17:30:52 · 11711 阅读 · 254 评论 -
【机器学习-16】贝叶斯(Bayes)算法:原理、应用与优化
1. 总结贝叶斯算法在机器学习中的核心价值和意义贝叶斯算法在机器学习中扮演着至关重要的角色,其核心价值和意义主要体现在以下几个方面:首先,贝叶斯算法提供了一种基于概率的推理框架,能够处理各种不确定性和复杂性。在现实世界的数据集中,特征之间的依赖关系、类别的模糊性等问题往往难以避免。贝叶斯算法通过计算条件概率来估计类别的后验概率,从而能够在这些不确定性中找到最可能的分类结果。其次,贝叶斯算法具有坚实的数学理论基础,其推导过程清晰且易于理解。这使得贝叶斯算法在实际应用中具有较高的可靠性和稳定性。原创 2024-04-13 18:00:00 · 13638 阅读 · 294 评论 -
【机器学习-15】决策树(Decision Tree,DT)算法:原理与案例实现
决策树算法是机器学习领域中的一种重要分类方法,它通过树状结构来进行决策分析。决策树凭借其直观易懂、易于解释的特点,在分类问题中得到了广泛的应用。本文将介绍决策树的基本原理,包括熵和信息熵的相关概念,以及几种经典的决策树算法。原创 2024-04-10 16:30:18 · 20260 阅读 · 264 评论 -
【机器学习-14】K-means聚类算法:原理、应用与优化
在众多聚类算法中,K-means算法因其简单高效而备受青睐。K-means算法的基本思想是:通过迭代的方式,将数据划分为K个不同的簇,并使得每个数据点与其所属簇的质心(或称为中心点、均值点)之间的距离之和最小。具体来说,K-means算法的执行过程通常包括以下几个步骤:首先,随机选择K个数据点作为初始的簇质心;然后,根据每个数据点与各个簇质心的距离,将其分配给最近的簇;接着,重新计算每个簇的质心,即取簇内所有数据点的平均值作为新的质心;原创 2024-04-07 15:48:14 · 39938 阅读 · 275 评论 -
【机器学习-13】KNN最近邻算法:原理、应用及实现
相似的对象在特征空间中距离相近。具体来说,对于待分类的样本,KNN算法首先计算它与训练集中每个样本之间的距离。然后,算法选取距离最小的K个样本,这些样本被称为“邻居”。最后,根据这些邻居的类别标签,通过投票或加权平均等方式,确定待分类样本的类别。KNN算法的核心在于距离度量,它决定了样本之间的相似度。通过选择合适的距离度量方法,KNN算法能够准确地找出与待分类样本最相似的邻居,从而进行准确的分类。为了演示KNN算法在文本分类中的应用,我们选择了一个公开的文本分类数据集,如20 Newsgroups数据集。原创 2024-04-04 14:07:06 · 17671 阅读 · 269 评论 -
【机器学习-12】数据探索---python主要的探索函数
深入探讨了数据预处理的重要性,并介绍了诸如插值、数据归一化和主成分分析等关键技术。这些方法有助于我们清理数据中的噪声、消除异常值,以及降低数据的维度,从而为后续的机器学习模型训练提供更有价值的信息。原创 2024-04-01 14:39:03 · 17770 阅读 · 269 评论 -
【机器学习-11】数据探索(Data Exploration)---数据质量和数据特征分析
介绍了在机器学习项目中,数据探索(Data Exploration)是至关重要的一步,它不仅是模型构建的基础,还是确保模型性能稳定、预测准确的关键。数据探索的过程中,数据质量和数据特征分析占据了核心地位。数据质量直接关系到模型能否从数据中提取有效信息,而数据特征分析则决定了模型能否准确捕捉数据的内在规律和模式。原创 2024-03-29 10:35:09 · 12731 阅读 · 290 评论 -
【机器学习-10】主成分分析(PCA)算法:原理、应用与实现
主成分分析(Principal Component Analysis,简称PCA)是一种统计分析方法,它旨在通过正交变换将原始特征空间中的线性相关变量转换为新的线性无关变量,即主成分。这些主成分能够保留原始数据的大部分信息,同时降低数据的维度,使得数据的处理和分析更加高效。PCA的原理基于数据的方差最大化思想。方差代表了数据的离散程度,方差越大,说明数据在该维度上的变化越丰富,所包含的信息也就越多。原创 2024-03-26 09:58:02 · 16210 阅读 · 280 评论 -
【机器学习-09】特征工程
特征工程是机器学习模型构建的初步工作,但它的重要性却贯穿整个模型生命周期。在进行特征工程时,我们需要充分利用数据科学的知识和技巧,结合具体的应用场景和业务需求,来制定出最合适的特征提取和转换策略。只有这样,我们才能为机器学习模型提供最有价值的输入,从而使其发挥出最大的潜力。总之,特征工程是机器学习中的一项关键任务,它需要我们用心去探索、去实践、去创新。只有不断地优化和完善特征工程的过程,我们才能构建出更加准确、更加可靠的机器学习模型,为实际应用带来更大的价值。原创 2024-03-24 14:23:17 · 13719 阅读 · 14 评论 -
【机器学习-08】参数调优宝典:网格搜索与贝叶斯搜索等攻略
在机器学习模型调优的过程中,找到参数的最佳组合与所需的计算时间之间始终存在一个权衡。当面对超参数空间庞大、维度众多时,选择适当的优化方式显得尤为重要。网格搜索提供了一种全面而系统的搜索方法,通过遍历所有可能的参数组合来找到最优解。然而,当参数空间较大时,网格搜索的计算成本会急剧增加,可能导致优化过程耗时过长。随机搜索则通过随机抽样来减少计算量,同时保持一定的全局搜索能力。它能够在有限的计算资源下快速找到性能较好的参数组合,尤其适用于超参数空间较大或计算资源有限的情况。手动调参。原创 2024-03-22 09:44:45 · 11826 阅读 · 61 评论 -
【机器学习-07】逻辑回归(Logistic Regression,LR)算法:原理、应用与实现
对于二分类问题,假设我们有一个数据集,其中包含mmm个样本。每个样本由输入特征向量xxx和对应的实际类别yyy组成。我们希望通过逻辑回归模型来预测样本的类别。假设存在一条直线(或超平面),可以将数据集中的样本完全分开。zθ0θ1x1θ2x2θnxnzθ0θ1x1θ2x2θnxn其中,zzz表示线性模型的输出,θ0θ1θnθθ0θ1θnθ表示模型的参数,x1x。原创 2024-03-21 10:36:34 · 15342 阅读 · 15 评论 -
【机器学习-06】线性回归(Linear Regression,LR)算法:原理、应用与实现
在【机器学习-01】机器学习一般建模流程yiβ0β1x1βp−1xp−1εii12nyiβ0β1x1...βp−1xp−1εii12...n上述等式的矩阵形式是yXβεy∈RnX∈Rn∗pβ∈Rpε∈RnyXβεy∈RnX∈Rn∗pβ∈Rpε∈Rn其中 Y 是反应变量, X 是解释变量,β 是参数。原创 2024-03-20 09:30:59 · 14680 阅读 · 10 评论 -
【机器学习-05】模型的评估与选择
在前面的文章中我们已经知道了机器学习的一些基本概念和模型构建的流程,本章我们将介绍模型训练出来后如何对模型进行评估和选择等。原创 2024-03-19 11:18:48 · 14632 阅读 · 5 评论 -
【机器学习-04】最小二乘法(Ordinary Least Square,OLS):原理、推导与实现
最小二乘法推导和python实现原创 2024-03-18 11:58:42 · 6215 阅读 · 9 评论 -
【机器学习-03】矩阵方程与向量求导方法
向量求导的方法介绍原创 2024-03-17 17:28:26 · 4659 阅读 · 11 评论 -
【机器学习-02】矩阵基础运算---numpy操作
矩阵的基础运算原创 2024-03-16 18:11:10 · 4974 阅读 · 2 评论 -
【机器学习-01】机器学习基本概念与建模流程
机器学习基本概念和建模流程介绍原创 2024-03-15 11:24:36 · 6554 阅读 · 25 评论 -
【机器学习-00】机器学习是什么?
机器学习是一门研究计算机如何模拟或实现人类学习行为的科学。它通过对大量数据的分析,使计算机能够自动地改进和优化其性能,从而实现对新数据的准确预测和决策。简而言之,机器学习就是让计算机从数据中“学习”并改进自身性能的过程。机器学习是人工智能的一个子集,其核心在于让计算机具备从数据中提取有用信息并自主进行决策的能力。这种能力使得机器学习在各个领域具有广泛的应用前景,如自然语言处理、图像识别、语音识别、推荐系统等。机器学习作为人工智能的一个重要分支,正在引领着一场科技革命。原创 2024-03-07 17:00:10 · 9272 阅读 · 1 评论