人工智能在现实生活中有很多应用。在实现一个人工智能程序时,我们应当将所要实现的应用转换成人工智能的任务。然后再通过设计和选择不同的算法去实现这个任务。
在前一篇博客中,我们了解到机器学习是人工智能程序的核心,那么机器学习的方式分为有监督机器学习(supervised learning )和无监督机器学习(unsupervised learning )以及强化学习(reinforcement learning)(详情请参考专栏中的另外一篇2.人工智能实现的不同方式-CSDN博客)。我们今天就来了解一下有/无监督机器学习的任务与本质,鉴于强化学习的特殊性,我会在后面的阶段单独讲解。
Classification(分类):是一种机器学习任务,用于将数据点分配到预定义的类别或标签中。与回归不同,分类问题的目标是预测数据的离散标签,而不是连续数值。
Regression(回归):是一种统计分析技术,用于建立 X(自变量,特征)与 Y(因变量,目标)之间的关系模型。其主要目标是预测因变量的值或理解自变量如何影响因变量。
Dimonsionality Reduction(降维):是指将高维数据转换为低维数据的过程,同时尽可能保留数据的主要特征和信息。这种技术对于处理和分析高维数据特别重要,因为高维数据往往会带来计算复杂性和可视化困难。降维可以帮助简化模型,减少计算成本,提高数据的可解释性,并且有助于消除噪声。
Clustering(聚类):是一种数据分析技术,用于将一组数据点分组,使得同一组内的数据点彼此相似,而不同组之间的数据点则差异较大。聚类的主要目的是从数据中发现结构或模式,常用于数据挖掘、图像分析、市场营销等领域。
一、有监督机器学习的任务与本质
1.回归
本质:拟合历史已有的数据,根据拟合出来的函数走势预测未来
目标:预测 -inf 到 +inf之间具体的值,连续值
应用:股票预测、房价预测
上图是一张每月博客浏览量的可视化表,其中,X轴表示时间,Y轴表示浏览量。我们将每个月的X和Y映射到二维空间中去便可以得到这张表。回归任务呢,就是要根据已有的数据,去拟合相对应的函数,这个函数要尽可能地穿过我们已有的数据。比如图中的直线,就是拟合出来的线性模型,我们就用线性的算法去计算和训练。又比如图中的抛物线,属于非线性模型,我们就用非线性的算法去计算和训练。
2.分类
本质:找到分界(这个分界可以是线、面、甚至是超平面),根据分界对新来的数据进行分类
目标:对新的数据预测出属于各个类别的概率,正确的类别概率越大越好。最终通过选择概率最大的类别作为最终类别,类别号是离散值。
应用:图像识别、情感分析、银行风控
如上图所示,我们将获得每个点在二维平面的坐标(x,y),然后对于图上已有的每个点进行打标签,记录为实心或空心。完成这些步骤之后,我们就可以通过机器学习的算法来生成相对应的模型。创造这个模型的目的就是尽可能地把不同的样本给分开。如果再有新的点加入,我们就可以通过模型的分界线来辨别新的点是属于实心的还是空心的。左图是非线性模型,右图是线性模型。
二、无监督机器学习的任务与本质
1.聚类
本质:根据样本与样本之间的相似度归堆
目标:将一批数据划分到多个组
应用:用户分组、异常检测、前景背景分离
如上图所示,初始数据是一堆黑色的点,我们通过K-means聚类算法(一种流行的聚类算法)将这些点分为一堆黄色、一堆绿色、一堆粉色的点。那么这个K-means算法是如何将这些点进行划分的呢?其实就是根据点与点之间的相似度(图中的相似度体现在距离的远近)。通过这些操作,我们可以用聚类算法来实现异常检测。比如图中出现了一个新的点,它会被归到离它相近的那个组。但如果它与所有的组都很远,就会当作异常的点被检测出来。
2.降维
本质:去掉冗余信息量或噪声
目标:将数据的维度减少
应用:数据的预处理、可视化、提高模型计算速度
顾名思义,降维的意思就是降低维度。如上图所示,我们将三维的数据通过降维算法将维度降到二维,减少了数据的冗余。在多数情况下,我们并不需要用到所有的数据,这个时候,我们就可以通过降维算法减少数据量来达到目的。
关注我,内容持续更新(后续内容在作者专栏《从零基础到AI算法工程师》持续更新)!!!