机器学习
文章平均质量分 79
死磕的斯坦张
Coding everyday。
展开
-
机器学习笔记05——集成学习
集成学习集成学习正是使用多个个体学习器来获得比每个单独学习器更好的预测性能。监督学习的任务是通过假设空间搜索来找到能够对特定问题给出良好预测的假设。但问题是即使这样的假设存在,能否找到也在两可之间。因而集成学习的作用就是将多个可以得到假设整合为单个更好的假设,其一般结构是先产生一组个体学习器,再使用某种策略将它们加以整合。每个组中的个体学习器如果属于同一类型(比如都是线性回归或者都是决策树),形成的就是同质集成;相应地,由不同类型学习器得到的集成则称为异质集成。但是所谓的集成,对于集成的各个个体首先原创 2022-05-18 19:57:09 · 1261 阅读 · 0 评论 -
机器学习笔记04——支持向量机
支持向量机是一种二分类算法,通过在高维空间中构造超平面实现对样本的分类。最简单的情形是训练数据线性可分的情况,此时的支持向量机就被弱化为线性可分支持向量机,这可以视为广义支持向量机的一种特例。线性可分的数据集可以简化为二维平面上的点集。在平面直角坐标系中,如果有若干个点全部位于 x 轴上方,另外若干个点全部位于 x 轴下方,这两个点集就共同构成了一个线性可分的训练数据集,而 x 轴就是将它们区分开来的一维超平面,也就是直线。就好比是一刀切开两堆芝麻。如果在上面的例子上做进一步的假设,假定 x 轴上方的点原创 2022-05-18 19:36:41 · 757 阅读 · 0 评论 -
机器学习笔记03——决策树
目录概念特征选择ID3 算法C4.5 算法CART 算法剪枝概念决策树算法采用树形结构,使用层层推理来实现最终的分类决策树是一个包含根节点、内部节点和叶节点的树结构,其根节点包含样本全集,内部节点对应特征属性测试,叶节点则代表决策结果。从根节点到每个叶节点的每条路径都对应着一个从数据到决策的判定流程。使用决策树进行决策的过程就是从根节点开始,测试待分类项的特征属性,并按照其值选择输出的内部节点。当选择过程持续到到达某个叶节点时,就将该叶节点存放的类别作为决策结果。决策树模型的学习过程包括三个步骤:特原创 2022-04-21 19:13:43 · 2858 阅读 · 0 评论 -
机器学习笔记02——线性回归
目录概念模型解决过拟合问题岭回归LASSO 回归概念线性回归假设输出变量是若干输入变量的线性组合,并根据这一关系求解线性组合中的最优系数。简单来说就是探索X和Y之间线性变量关系的函数在众多回归分析的方法里,线性回归模型最易于拟合,其估计结果的统计特性也更容易确定,因而得到广泛应用。而在机器学习中,回归问题隐含了输入变量和输出变量均可连续取值的前提,因而利用线性回归模型可以对任意输入给出对输出的估计。模型假定一个实例可以用列向量 x=(x1;x2;⋯,xn) 表示,每个 xi 代表了实例在第原创 2022-04-21 17:31:00 · 1701 阅读 · 0 评论 -
机器学习笔记01——基本概念
目录分类误差性能过拟合和欠拟合交叉验证分类根据输入输出类型的不同,预测问题可以分为以下三类。分类问题:输出变量为有限个离散变量,当个数为 2 时即为最简单的二分类问题;回归问题:输入变量和输出变量均为连续变量;标注问题:输入变量和输出变量均为变量序列。按照任务训练特点分类:监督学习:基于已知类别的训练数据进行学习;无监督学习:基于未知类别的训练数据进行学习;半监督学习:同时使用已知类别和未知类别的训练数据进行学习。误差性能在机器学习中,误差被定义为学习器的实际预测输出与原创 2022-04-21 17:19:51 · 1244 阅读 · 0 评论