图解例说机器学习
图文并茂地讲解机器学习算法
nineheaded_bird
这个作者很懒,什么都没留下…
展开
-
【图解例说机器学习】集成学习之AdaBoost算法
三个臭皮匠,顶个诸葛亮。集成学习 (Ensemble learning) 通过构建并结合多个学习器来完成学习任务,即先产生一组个体学习器,再通过某种策略将它们结合起来完成学习任务。个体学习器通常为一个现有的学习算法从训练数据产生,例如决策树,神经网络等。结合策略:在回归问题中,一般采用 (加权) 平均法,在分类问题中,一般采用 (加权) 投票法。当训练数据很多时,一种更为强大的结合策略为学习法,即通过另一个学习器来进行结合,典型代表为Stacking.根据个体学习器的生成方式不同,目前的集成学习方.原创 2020-06-18 12:06:10 · 498 阅读 · 1 评论 -
【图解例说机器学习】神经网络 (Neural Networks)
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 --Kohonen, 1988一层神经网络:感知机与逻辑回归M-P神经元模型1943年,McCulloch和Pitts提出了沿用至今的M-P神经元。在这个模型中,神经元接收来自其他MMM个神经元传递过来的输入信号x(j),j=1,2,⋯ ,Mx^{(j)},j=1,2,\cdots,Mx(j),j=1,2,⋯,M, 这些输入信号通过带权重ωj\omega_jωj的连接进.原创 2020-06-09 17:17:04 · 1493 阅读 · 0 评论 -
【图解例说机器学习】参数估计 (MLE and MAP)
参数估计:给定一个数据集,我们希望用一个给定的分布去拟合该数据集的分布,确定该分布的参数的过程就是参数估计。例如,我们用二项分布去拟合多次投掷硬币的情况,计算该二项分布的最优参数(出现正面的概率 θ\thetaθ)就是参数估计。下面,我们介绍在机器学习中常用的参数估计:极大似然估计 (Maximum Likelihood Estimation, MLE),最大后验概率估计 (Maximum A Posteriori, MAP)。在此之前,我们介绍一下参数估计中常用的一些概念.频率学派 VS. 贝叶原创 2020-05-31 19:00:21 · 1522 阅读 · 0 评论 -
【图解例说机器学习】朴素贝叶斯 (Naive Bayes)
朴素贝叶斯分类法是基于贝叶斯定理与特征条件独立假设的分类方法。其主要思想为:对于给定的训练数据集 D\mathcal DD ,首先基于特征条件独立假设学习输入 x\mathrm xx 与输出 yyy 的联合概率分布 P(x,y)P(\mathrm x, y)P(x,y) ; 然后通过先验概率 P(y)P(y)P(y) ,利用贝叶斯定理求出后验概率 P(y∣x)P(y\mid\mathrm x)P(y∣x) 最大对应的输出 yyy 。一个例子由于朴素贝叶斯分类比较简单,这里直接先给出一个例子来演示如何进原创 2020-05-28 20:32:19 · 805 阅读 · 1 评论 -
【图解例说机器学习】支持向量机 (SVM)
支持向量机(Support Vector Machine, SVM),是一种常见的有监督的学习模型,通常用来进行模式识别、分类以及回归分析。本文主要介绍SVM在二分类问题的应用。线性可分支持向量机我们还是以【图解例说机器学习】感知机的二分类例子说起。如图1,假设有一个线性可分的训练集,其中有三个样例 (x1,x2,x3\mathrm x_1,\mathrm x_2, \mathrm x_3x1,x2,x3),分别标记为正例(红色方块),反例(蓝色圆圈)。这里的 x(1),x(2)x^{(1)},原创 2020-05-12 23:39:57 · 1212 阅读 · 0 评论 -
【图解例说机器学习】感知机 (Perceptron)
感知机是二分类的线性分类模型,是神经网络和支持向量机的基础。引例一个常见的线性二分类问题如下: 图1 如图1,假设有一个线性可分的训练集,其中有三个样例 (x1,x2,x3\mathrm x_1,\mathrm x_2, \mathrm x_3x1,x2,x3),分别标记为正例(红色方块),反例(蓝色圆圈)。这里的 x(1),x(2)x^{...原创 2020-05-05 17:57:11 · 865 阅读 · 2 评论 -
【图解例说机器学习】决策树 (Decision Tree)
决策树是一种非参数的有监督的学习方法,可以用来分类和回归,即分类决策树,回归决策树。分类决策树,可以看成是if–then规则的集合,树的每一个中间节点就是一个特征,用来if–then规则的判断,树的每一个叶子节点就是最终的分类结果。基本思想:决策树就是一个,递归地选择最优特征,并根据该特征对训练数据集进行划分,使得对各个子数据集有一个最好的分类,的过程。训练数据集的划分过程就是决策树的构建过程。...原创 2020-04-30 23:56:13 · 1073 阅读 · 0 评论 -
【图解例说机器学习】模型选择:偏差与方差 (Bias vs. Variance)
机器学习的过程大致分为三步:1)模型假设,比如我们假设模型是线性回归,还是多项式回归,以及其阶数的选择;2)误差函数定义,比如我们假设误差函数是均方误差,还是交叉熵;3)参数求解,比如使用正规方程,还是梯度下降等。这篇文章主要讨论模型的选择问题,下面以多项式回归为例进行说明一个例子:多项式回归中的阶数选择在前面的文章【图解例说机器学习】线性回归中,我们定义了广义的线性回归模型,其表达式为:...原创 2020-04-17 23:49:58 · 1150 阅读 · 0 评论 -
【图解例说机器学习】逻辑回归 (Logistic Regression)
在我们日常生活中,我们经常会遇到使用到预测的事例,而预测的值一般可以是连续的,或离散的。比如,在天气预报中,预测明天的最高温,最低温(连续),亦或是明天是否下雨(离散)。在机器学习中,预测连续性变量的模型称为回归(Regression)模型,比如标准的线性回归,多项式回归;预测离散型变量的模型称为分类(Classification)模型,比如这里要介绍的逻辑回归和以后要提到的支持向量机(SVM)等...原创 2020-04-14 12:54:52 · 1479 阅读 · 0 评论 -
【图解例说机器学习】线性回归 (Linear Regression)
线性回归之于机器学习,正如Hello World之于编程语言,也如MINST之于深度学习。首先,我们先定义一些即将用到的数学符号:NotationsMeaningNotationsMeaningMMMNumber of parameters w\mathrm wwNNNNumber of instancesX={x1,x2,⋯ ,xN}T\mathrm ...原创 2020-04-06 20:46:01 · 1564 阅读 · 0 评论 -
【图解例说机器学习】K最近邻 (KNN)
kNN (k-nearest neighbor)的定义针对一个测试实例,在给定训练集中,基于某种距离度量找到与之最近的k个实例点,然后基于这k个最邻近实例点的信息,以某种决策规则来对该测试实例进行分类或回归。由定义可知,kNNkNNkNN模型包含三个基本要素:距离度量、k值选择以及决策规则。再详细描述这三要素之前,我们先用一个样图来简单描述kNNkNNkNN分类模型的效果。我们以二维平面...原创 2020-01-12 22:12:55 · 796 阅读 · 0 评论