机器学习与深度学习

一，定义

        机器学习定义 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

        深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归。

        深度学习、神经网络、机器学习与人工智能之间的关系：

        深度学习是机器学习的一个分支，机器学习是人工智能的一个分支，深度学习的概念源于人工神经网络的研究，但是并不完全等于传统神经网络 ，深度学习可以说是在传统神经网络基础上的升级，约等于神经网络。

        机器学习的分类：监督学习，半监督学习，非监督学习和强化学习

        机器学习三要素：方法 = 模型+策略+算法

        机器学习知识结构图：

二， 神经网络基础：组成，感知机，多层感知机，常用模型

        组成：人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

        感知机（Perceptron）：

        感知机是生物神经细胞的简单抽象。神经细胞结构大致可分为：树突、突触、细胞体及轴突。模拟神经细胞行为，与之对应的感知机基础概念被提出，如权量（突触）、偏置（阈值）及激活函数（细胞体）。

1，简单的感知机如下图：

2，实例：

 3，策略:

 4，算法：

感知机学习问题转化为求解w和b关于损失函数（4）的最优化问题，如果只考虑最优化问题的话，有很多方法可以求解，比如梯度下降法（Gradient Descent）、共轭梯度法（Conjugate Gradient）等。本文所选取的最优化方法是随机梯度下降法。

要使用随机梯度下降法，需要先求出L(w,b)关于w和b的梯度，结果如下：

        多层感知机（MLP，Multilayer Perceptron）：

        多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。（最简单的MLP只有一个隐藏层如下图。）

双层感知机模型：

待学习参数数量：np+p+pm+m=(n+1)p+(p+1)m

参数计算方法：前向传播和反向传播

        神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；反向传播（backward propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。

前向传播：

在解释神经网络的前向传播时，将使用一个简单的全连接三层的神经网络进行说明，如下图所示：

神经网络由一层一层的神经元构成（1纵列称为这个神经网络的一层），神经网络的前向传播每一层的每个神经元都会与前一层的所有神经元或者输入数据相连，例如图中的f1(e)就与x1和x2分别相连。因此，在计算的时候，每一个神经元的输出=使用激活函数前的一层函数的累加和，例如第一幅图中的f1(e)的输出y1,y1=(w(x1)x1+w(x2)x2)。其中w为权重，f(e)表示激活函数，本例暂不加入偏置。

而后f1、f2、f3又作为输入与下一层的神经元全连接，f4、f5作为输入与最后一层神经元全连接，最后得到输出y值。

反向传播：

 

常用模型：

代表性的网络模型有BP网络、RBF网络、Hopfield网络、自组织特征映射网络等。

分为四大类: 标准网络、循环网络、卷积网络和自动编码器。