![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 89
qq602683200
这个作者很懒,什么都没留下…
展开
-
常用集成学习算法
常用集成学习算法1. 概念2. Bagging3. Boosting3.1 AdaBoost(Adaptive Boosting 算法)1. 概念集成算法是对几种机器学习的学习器进行组合,形成一个方差更小、偏差更小、或预测效果更好的模型。主要有bagging、boosting、stacking三种方法。2. Bagging图源:https://www.cnblogs.com/zongfa/p/9304353.html【步骤】Bootstrap: 从原始样本集中采用有放回抽样的方式抽取n个训练原创 2020-11-02 23:24:37 · 6725 阅读 · 0 评论 -
聚类算法
目录1. 聚类任务2. 性能度量2.1 外部指标2.2 内部指标3. 距离计算3.1 有序数据3.2 无序数据3.3 混合数据4. 原型聚类4.1 k-means聚类5. 密度聚类6. 层次聚类1. 聚类任务聚类是一种常见的无监督算法,其主要任务是将数据集根据特征自动分为若干个不相交的子集,达到“物以聚类”的效果。每个子集称为一个“簇”,每个簇中的元素具有一定的相似性。聚类主要分为kmeans聚类、密度聚类(DBSCAN)、层次聚类等。2. 性能度量对于聚类的效果,我们也需要使用一些指标来评估其好坏原创 2020-12-08 23:17:27 · 368 阅读 · 0 评论 -
分类算法 - 支持向量机
这里写目录标题1. 简介2. 线性可分支持向量机2.1 支持向量与间隔2.2 目标函数2.3 对偶问题2.3 实例求解3. 线性不可分支持向量机4. 软间隔支持向量机与松弛向量5. 总结1. 简介支持向量机(support vector machine, svm)是一种二分类模型,它是定义在特征空间上的间隔最大的线性分类器,目的是寻找一个超平面对样本进行划分,其学习的策略是间隔最大化,可转换为求解一个凸二次规划问题,主要有以下三种类型:训练样本线性可分:硬间隔最大化学习一个线性可分svm训练样本近原创 2020-11-28 15:35:40 · 1118 阅读 · 0 评论 -
分类算法 - 逻辑回归(原理及求解)
逻辑回归为分类算法中的经典算法,虽称之为回归,但是其为分类模型,通常用于二分类问题,本文对书上、网上的帖子进行总结和整理,以回顾重温以前学的知识。这里写目录标题1. 逻辑回归模型1.1 Logistic 分布1.2 逻辑回归模型1.3 代价函数2. 逻辑回归模型求解2.1 梯度下降法2.2 牛顿法2.3 正则化2.3.1 L1 正则化2.3.2 L2 正则化3. 模型细节参考:1. 逻辑回归模型1.1 Logistic 分布首先给出Logistic 分布的定义,设X为连续型随机变量,X服从Logis转载 2020-11-15 12:31:06 · 525 阅读 · 0 评论 -
分类算法 - 决策树(构造、推导、计算、剪枝过程)
决策树是一种基本分类和和回归方法,本篇主要讨论分类决策树,主要从决策树的构造、决策树的修剪等方面进行介绍,本文主要参考《机器学习实战》、《统计学习方法》和网上的一些帖子,进行的总结学习。分类算法 - 决策树1.概念2. 决策树的构造2.1 特征选择2.1.1 信息增益2.1.2 信息增益率2.1.3 基尼指数2.2 决策树的生成2.2.1 ID3算法2.2.2 C4.5算法2.2.3 CART数算法2.3 剪枝3.决策树的存储4.决策树实例5. 总结6. 参考1.概念决策树是一种通过抓取数据中所隐含原创 2020-11-10 12:19:09 · 1653 阅读 · 0 评论 -
分类算法 - k近邻算法(原理、kd树)
目录1. 算法概述2. 模型三要素2.1 距离度量2.2 k值选择2.3 分类规则2. 算法流程3. 算法实现4.优缺点分析5.算法优化5.1 距离加权5.2 kd - tree 和 ball - tree6. 应用场景7. 参考1. 算法概述k近邻算法解决分类问题一种常见的方法,其主要思路是,根据给定距离度量,在训练集中找到目标点最近的k个样本的分类结果,经过分类规则,预测目标样本的分类。2. 模型三要素从算法概述可以得到3个重要的要素:距离、k值以及分类规则。2.1 距离度量k近邻一般特原创 2020-11-06 16:59:11 · 2070 阅读 · 0 评论