齐在的专栏

该文已经收录到专题机器学习进阶之路当中，欢迎大家关注。1. 从感知机到神经网络  在上一篇博客【机器学习】感知机原理详解当中，我们介绍了感知机，这是一种二分类的线性分类模型，只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，学习能力十分有限。  将感知机扩展成为神经网络，主要从三个方面来增强表达能力：隐藏层可以有多层；输出层神经元可以有多个输出；对激活函数作扩展，有sigmo...

现将自己机器学习方面的学习笔记整理如下，后续还会继续更新：机器学习基本概念监督学习、非监督学习、批量学习、在线学习、基于实例学习、基于模型学习经验风险最小化与结构风险最小化模型评估与选择（留出法、交叉验证法、查全率、查准率、偏差、方差）线性回归原理推导与算法描述最优化方法：梯度下降法一文读懂正则化与LASSO回归，Ridge回归逻辑斯蒂回归原理推导与求解多项逻辑斯蒂回归/sof...

1. 感知机概述  感知机（perceptron）是二分类的线性分类模型，属于监督学习算法。输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机旨在求出将输入空间中的实例划分为两类的分离超平面。为求得超平面，感知机导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化求解。  如果训练数据集是线性可分的，则感知机一定能求得分离超平面。如果是非线性可分的数据，则无法获得超平面。...

1. 前言  从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”。特征选择是一个重要的数据预处理过程，进行特征选择的原因如下：减少特征数量、降维，使模型泛化能力更强，减少过拟合；去除不相关特征，降低学习难度。  常见的特征选择方法大致可以分为三类：过滤式、包裹式和嵌入式。2. 过滤式选择  过滤式方法先对数据集进行特征选择，然后再训练学习器。特征选择过程与后续学习...

1. 密度聚类  密度聚类假设聚类结构能够通过样本分布的紧密程度确定，其主要思想是：通过样本之间是否紧密相连来判断样本点是否属于同一个簇。  这类算法能克服基于距离的算法（如K-Means）只能发现凸聚类的缺点，可以发现任意形状的聚类，且对噪声数据不敏感，但计算密度大暖的计算复杂度大，需要建立空间索引来降低计算量。2. DBSCAN算法  DBSCAN（Density-Based Spat...

1. 聚类  聚类就是对未知标记的数据，按照其内部规律，将数据划分为多个不同类别（亦称“簇”，cluster），使簇内数据比较相似，而簇间数据差别较大。  聚类和分类的区别：  1. 分类是有监督学习，它基于有标记数据进行算法模型构建；  2. 聚类属于无监督学习，基于无标记数据。2. K-Means原理  K-Means算法（又称K均值算法），是最简单经典的聚类算法。  在所有的聚...

1. 核化线性降维  线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而在有些时候，高维空间是线性不可分的，需要找到一个非线性函数映射才能进行恰当的降维，这就是非线性降维。线性可分问题与线性不可分问题  核化线性降维方法是一种典型的非线性降维方法，它基于核技巧对线性降维方法进行“核化”，然后再降维。  下面我们将要介绍的核主成分分析（KPCA）就是一种经典的核化线性降维...

1. 过拟合 过拟合是指学习模型对训练样本预测得很好，但对新样本预测很差的现象。这通常是由于学习模型能力过于强大，以至于把训练样本自身的一些特点当做了一般性质。  过拟合是无法彻底避免的，只能缓解。模型选择就是要旨在避免过拟合并提高模型的预测能力。

由于之前这篇博客用富文本编辑器写的，公式老是出问题，现在用markdown重新编辑出来。1. Stacking定义  Stacking并不是简单地对个体学习器的结果做简单逻辑处理，而是先从初始数据集训练出初级学习器，将初级学习器的输出当成特征，初始样本的标记仍被当作标记，由此生成一个新数据集用于训练学习器。Stacking结构图2. Stacking原理  假设我们有两个初级学...

1. 概念  主成分分析（Pricipal Component Analysis，PCA）是最常用的一种降维方法，通过一个投影矩阵将可能存在相关性和冗余的特征转换为一组更低维度的线性不相关的特征，转换后的特征就叫做主成分。2. 原理  在降维的过程中，我们希望损失的信息尽可能少，也就是希望保留的信息尽可能多。PCA用方差来度量信息量，在某个维度上，样本分布越分散，方差越大，信息越多。因此，...

1. KNN概述  k近邻法（K-Nearest neighbor，kNN）是一种常用的监督学习方法，其工作机制为：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中使用投票法计算最终预测结果，在回归任务中使用平均法，还可基于距离远近进行加权平均或加权投票。  kNN是懒惰学习（lazy learning）的典型代表，...

  设特征空间χ\chiχ是nnn维实数向量空间RnR^nRn，xi,xj∈χ{x_i},{x_j} \in \chixi​,xj​∈χ，xi=(xi(1),xi(2),⋯ ,xi(n))Tx _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { (...

机器学习可根据如下规则进行分类：是否在人类监督下进行训练（监督学习/非监督学习/半监督学习/强化学习）;是否可以动态渐进学习（批量学习/在线学习）；是否只是通过简单地比较新数据点和已知数据点，还是在训练数据中进行模式识别，以建立一个预测模型。1. 监督/非监督/半监督/强化学习  机器学习可以根据训练时监督的量和类型进行分类，主要有四类：监督学习、非监督学习、半监督学习、强化学习。...

1. 梯度提升决策树概述梯度提升决策树（Gradient Boosting Decision Tree，GBDT）是以决策树为基学习器的一种Boosting算法，它在每一轮迭代中建立一个决策树，使当前模型的残差在梯度方向上减少；然后将该决策树与当前模型进行线性组合得到新模型；不断重复，直到决策树数目达到指定的值，得到最终的强学习器。上一篇博客【机器学习】集成学习——Boosting与Ada...

1.BoostingBoosting族算法的工作机制为：先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，然后基于调整后的样本分布来训练下一个基学习器；重复进行，直到基学习器数目达到事先指定的值；最终将所有基学习器根据结合策略结合，得到最终的强学习器。Boosting中的基学习器是弱学习器，即仅仅比随机猜测好一点的模型，比如一个简单的决策树。使用弱学习器而不是...

1.Bagging原理在介绍Bagging之前，我们首先介绍下自助采样法（Bootstrap sampling）。自助采样法的原理如下：对给定个样本的数据集，进行次随机有放回采样，得到含个样本的采样集，初始训练集中约有63.2％的样本出现在采样集中。Bagging（Bootstrap aggregating）正是直接基于自助采样法采样出个含个样本的采样集，然后基于每个采样集分别训练出一...

1. 定义集成学习（Ensemble learning）通过构建多个个体学习器，并将其以某种结合策略集成起来，完成学习任务。集成学习常可获得比单一学习器显着优越的泛化性能。2. 概述集成学习的一般结构为：集成学习示意图如果集成中只包含同种类型的个体学习器，则这样的集成是同质的；相对应的，这样的个体学习器被称为“基学习器”，相应的学习算法被称为“基学习算法”。如果集成中...

版权声明：本文为博主原创文章，未经博主允许不得转载https://blog.csdn.net/pxhdky/article/details/84203421在上一篇博客【机器学习】决策树详解（ID3、C4.5）中，我们详细描述了决策树的原理、划分准则、生成、剪枝、连续值处理、缺失值处理，这篇博客我们主要讲述决策树算法中的CART算法。1. CART算法分类与回归树（Classifica...

1. 决策树模型决策树是一种基于树的结构来进行决策的模型。它从根结点开始，对样本的某一特征进行测试，根据测试结果将样本分配到子结点中；然后不断递归地对样本进行测试再分配，直到达到叶结点；最后将样本分到叶结点的类中。决策树本质上就是从训练数据集中归纳出一组规则，可以把决策树看成是if-then规则的集合。决策树学习通常包括三个步骤：划分选择、决策树生成、决策树剪枝。决策树生成只考虑局部最优，...

1. 损失函数和风险函数损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。常用的损失函数有以下几种：（1）0-1损失函数（0-1 loss function） （1）（2）平方损失函数（quadratic loss functio...

1. 基本术语机器学习：是基于数据建立模型并运用模型对数据进行预测和分析的一门学科。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析和预测中。特征/属性：反映事件或对象在某方面的表现或性质的事项。样本：关于一个事件或对象的描述。数据集：多条样本记录的集合。输入空间/输出空间：输入和输出所有可能取值的集合。学习/训练：从数据中学得模型的过程...

1. 多项逻辑斯蒂回归模型多项逻辑斯蒂回归模型（multi-nominal logistic regression model），又称为Softmax Regression，是一个用来预测离散型随机变量的不同可能结果的概率的模型，用于进行多项分类。前面在逻辑斯蒂回归原理推导与求解中讲到的逻辑斯蒂回归模型是二项分类模型，用于二分类。将其推广为多项分类，假设离散型随机变量的取值集合是，那么多项...

该文已经收录到专题机器学习进阶之路当中，欢迎大家关注。1.过拟合当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法： 方法一：减少特征数量（人工选择重要特征来保留，会丢弃部分信息）。 方法二：正则化（减少特征参数的数量级）。2.正则化（Regularization）正则化是结构风险（损失函数+正则化项）最小化策略的体...

1.概念逻辑斯蒂回归又称为“对数几率回归”，虽然名字有回归，但是实际上却是一种经典的分类方法，其主要思想是：根据现有数据对分类边界线（Decision Boundary）建立回归公式，以此进行分类。2.特点1. 优点：计算代价不高，具有可解释性，易于实现。不仅可以预测出类别，而且可以得到近似概率预测，对许多需要利用概率辅助决策的任务很有用。2. 缺点：容易欠拟合，分类精度可能不高。...

1. 概念梯度下降法（Gradient Descent）又称最速下降法（Steepest descent）是一种常用的一阶优化方法，是一种用于求解无约束最优化问题的最常用的方法。它选取适当的初始值，并不断向负梯度方向迭代更新，实现目标函数的极小化，直到收敛。2. 梯度下降的直观解释以下山法作为类别，我们想要从山的某个位置下山，但我们并不知道山脚的位置，只能走一步算一步。从当前位置出发，...

该文已经收录到专题机器学习进阶之路当中，欢迎大家关注。1. 概念线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。2. 特点优点：结果具有很好的可解释性（w直观表达了各属性在预测中的重要性），计算熵不复杂。 缺点：对非线性数据拟合不好 适用数据类...