深度学习及其应用（1）

人工神经网络（Artificial Neural Network）是由简单神经元经过相互连接形成网状结构，通过调节各连接的权重值改变连接的强度，进而实现感知判断。

反向传播（Back Propagation，BP）算法的提出进一步推动了神经网络的发展。目前，神经网络作为一种重要的数据挖掘方法，已在医疗诊断、信用卡欺诈识别、手写数字识别以及发动机的故障诊断等领域得到了广泛的应用。

神经网络类型：

• 前馈神经网络
• 反馈神经网络
• 自组织神经网络

神经网络相关概念：

• 激活函数
• 损失函数
• 学习率
• 过拟合
• 模型训练中的问题
• 神经网络效果评价

传统神经网络结构比较简单，训练时随机初始化输入参数，并开启循环计算输出结果，与实际结果进行比较从而得到损失函数，并更新变量使损失函数结果值极小，当达到误差阈值时即可停止循环。

神经网络的训练目的是希望能够学习到一个模型，实现输出一个期望的目标值。学习的方式是在外界输入样本的刺激下不断改变网络的连接权值。传统神经网络主要分为以下几类：前馈神经网络、反馈神经网络、自组织神经网络。这几类神经网络具有不同的学习训练算法，可以归结为监督型学习算法、非监督型学习算法。

感知器是一种结构最简单的前馈神经网络，也称为感知机，它主要用于求解分类问题。

一个感知器可以接收n个输入，对应n个权值

，此外还有一个偏置项阈值b，神经元将所有输入参数与对应权值进行加权求和，得到的结果经过激活函数f变换后输出，计算公式如下：

神经元的作用可以理解为对输入空间进行直线划分，单层感知机无法解决最简单的非线性可分问题。