神经网络与深度学习—第二周学习总结3.19

1.概述

1.1人工神经网络定义

人工智能是一个概念性而非形式化定义，包含多种方法论：

• 仿生角度：模拟自然生物信息处理过程
• 符号学角度：用统计概率、数理逻辑、博弈搜索等实证
• 行为学角度：以控制论实现机器自我进化
• 交叉角度：上述多种角度的合成

人工神经网络概念：

• 从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。
• 信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。

1.2神经网络与深度学习发展

机器学习发展史：

神经网络发展史：

2.线性分类与感知机

2.1线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
要素：

• 训练集(training set)或者训练数据(training data), 是我们流程中的输入数据，一般称为 $x$
• 输出数据，一般称为 $y$
• 拟合的函数（或者称为假设或者模型）：一般写做 $y=h(x)$；如果是直线，则为 $y=kx+b$
• 训练数据的条目数(#training set)：一条训练数据是由一对输入数据和输出数据组成的，输入数据的维度 $n$ (特征的个数，#features)
  学习过程：
  
  求解过程：
  
  

2.2线性二分类问题

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。
与线性回归差别：
输出意义不同：属于某类的概率<->回归具体值
参数意义不同：最佳分类直线<->最佳拟合直线维度不同：前面的例子中，一个是一维的回归，一个是二维的分类
求解方法：

2.3对数回归与多分类回归

求解方式：

2.4 神经元模型

几种神经元模型如下：

2.5作用函数

1.非对称型Sigmoid函数（Log Sigmoid）$f(x)=\frac{1}{1+e^{-\beta x}}$

2.对称型Sigmoid函数（Tangent Sigmoid）$f(x)=\frac{1-e^{-\beta x}}{1+e^{-\beta x}}$

3.对称型阶跃函数 $f(x)=\{\begin{array}{rc}+1& x\ge 0\\ -1& x<0\end{array}$

Hebb规则：连接权值的调整量与输入与输出的乘积成正比 $\Delta w=\alpha \cdot x\cdot y$

2.6感知机模型

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。
模型如下：

3.多层前馈神经网络与误差反传算法

3.1多层感知机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
多层感知机定理：
定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。
定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

3.2多层前馈网络及BP算法

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。
网络结构：

求解方法：


BP算法基本过程：

1. 设置初始权系数 $w_0$ 为较小的随机非零值；
2. 给定输入/输出样本对，计算网络输出, 完成前向传播
3. 计算目标函数 $J$ 。如 $J$ < $\epsilon$, 训练成功，退出；否则转入4
4. 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值。

4.总结

本周主要学习内容如上，主要掌握了线性回归以及感知机等的基本方法，以及BP神经网络的基本原理和求解方法等。