《神经网络与深度学习》学习笔记（一）

一、神经网络

1、人工智能：是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

2、机器学习是人工智能的一个重要分支，是实现智能化的关键。经典定义：利用经验来改善计算机系统的性能。（经验：在计算机系统中，即为数据（集）。主要目标：预测未知，理解系统）。

3、人工神经网络：是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。

4、人工智能第三次崛起的三大基石

二、线性回归

1、定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法。

2、学习过程：

 

 

 

 

 

三、线性二分类问题

1、定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的，简言之，样本通过直线（或超平面）可分。

 

 

 

 

2、梯度下降法：
 

 

四、指数回归

 

 

五、多分类回归

 

 

 

六、神经元模型

1、神经元模型：

 

 

 

 

2、作用函数：

（1）非对称型Sigmoid函数（Log Sigmoid）

 

 

(2)对称型Sigmoid函数（Tangent Sigmoid）

 

 

 

(3)对称型阶跃函数

 

3、Hebb规则

连接权值的调整量与输入与输出的乘积成正比：

 

七、感知机模型

1、感知机原理：

 

 

2、感知机模型：
 

 

 

八、多层感知机

1、XOR线性不可分问题：无法进行线性分类。

 

 

 

 

 

九、BP算法

多层前馈网络的反向传播（BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 

 

1、基本思想：
 

 

 

 

2、算法推导：