常用的机器学习与深度学习算法简介

1、机器学习

1.1 决策树与随机森林

决策树(Decision Tree)是一种将决策流程以树状结构清晰表示的机器学习方法，本质上是通过一系列规则对数据进行分类的过程。

图1-决策树

随机森林(Random Forest)是通过构建多个决策树对样本进行训练并预测的一种分类器，其最终输出的类别是由每个决策树输出的类别的众数而决定。

图2-随机森林

1.2 支持向量机(SVM)

支持向量机(Support Vector Machine)是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。

图3-支持向量机

1.3 k-最近邻算法

k-最近邻算法(k-Nearest Neighbor，KNN)是一种用于分类和回归的无监督学习算法,也是最简单的机器学习算法之一。该算法在诸多领域得到了广泛的应用,如在药物研发领域常用于化合物的分类,识别活性化合物。

图4-k最近邻算法

1.4 朴素贝叶斯分类器

朴素贝叶斯分类器(Naive Bayes Classifier)是应用最为广泛的分类算法之一。借助于先验概率与后验概率的概念,贝叶斯分类器只需要少量的训练数据即可估计出一些必要的参数，能够在许多复杂的条件中取得较好的效果。

图5-朴素贝叶斯分类器

2、深度学习

2.1 人工神经网络

人工神经网络(Artificial Neural Network,ANN)是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。

图6-人工神经网络

2.2 深度神经网络

人工神经网络(Artificial Neural Network,ANN)又称简单神经网络(Simple Neural Network),由输入层、一个隐藏层、输出层三个部分组成,每层都包含若干个神经元。而深度神经网络(Deep Neural Network, DNN)本质上是具有多个隐藏层的ANN,它是最早被应用的深度学习算法之一。

图7-深度神经网络

2.3 卷积神经网络

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,通常由输入、卷积层、池化层、全连接层、输出五个部分组成。其中,卷积层是CNN的核心层,该层由一系列的卷积核组成。池化层又称下采样层,主要用于压缩特征空间。CNN在图像识别领域的表现尤为出色,除此之外,CNN在物体检测、图像分割、人脸识别、脑电信号分类等领域都有着广泛的应用。

图8-卷积神经网络

2.4 循环神经网络

与ANN类似,循环神经网络(Recurrent Neural Network,RNN)同样由输入层、隐藏层、输出层三部分组成。RNN是一类用于处理序列的神经网络,如时间序列数据、文本序列数据等。不同于ANN,RNN隐藏单元的状态不仅依赖于当前的输入,还依赖于上一个时刻隐藏单元的输出,这使得RNN成为了一个具有记忆能力的神经网络。RNN在自然语言处理(Natural Language Processing)方面得到了广泛应用,比如基于RNN的LSTM算法被应用于文本生成、机器翻译、语音识别等领域。

值得一提的是,LSTM算法在近年来有着一些我们熟知的应用:

• 2015年以来，在机械故障诊断和预测领域，相关学者应用LSTM来处理机械设备的振动信号。
• 2016年,谷歌公司应用LSTM来做语音识别和文字翻译,其中Google翻译用的就是一个7-8层的LSTM模型
• 2016年,苹果公司使用LSTM来优化Siri应用

图9-循环神经网络

2.5 自编码器

自编码器(Auto Encoder,AE)是一种用于非监督学习的神经网络,同样具有输入层、隐藏层、输出层三层结构,包含编码、解码两个部分。AE的主要作用在于重构输入,即将原始输入经编码抽象后传递至解码器。AE在NLP领域中的机器翻译、文档聚类、情绪分析等任务中都有着广泛的应用。

图10-自编码器