提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助
深度学习
一、神经网络的思想
1.1神经网络和深度学习
1.人工智能、深度学习、机器学习的关系?
人工智能 > 机器学习 > 深度学习
2.深度学习以神经网络为出发点
神经元
(1)神经元形成网络;
(2)对于从其他神经元传递过来的信号,如果它们的和不超过某个固定大小的值(阙值),则神经元不做出任何反应;
(3)对于从其他神经元传递过来的信号,如果它们的和超过某个固定大小的值(阙值),则神经元做出反应(称为点火),向另外的神经元传递固定强度的信号;
(4)在(2)和(3)中,从多个神经元传递过来的信号之和中,每个信号对应的权重不同;
3.用神经网络实现的人工智能
能够自己学习过去的数据;
4.“人教导机器”类型的的人工智能问题
“人教导机器”类型的的人工智能无法胜任图像、语音的模式识别;
1.2神经元工作的数学表示
1.神经元点火的结构
(1)来自其他神经元的信号之和称为神经元的输入;
(2)如果这个神经元之和超过神经元固有的阙值则点火;
(3)神经元的输出信号可以用数字信号0和1表示,即使有多个输出端,其值也是同一个;
2.用数学式表示神经元点火的结构
(1)输入信号:有两种信息表示:
无输入信号:x=0
有输入信号:x=1
(2)输出信号:有两种信息表示:
无输入信号:y=0
有输入信号:y=1
即使有多个输出端,输出信号的大小也相同;
3.点火的判定条件
(1)输入信号之和: w1x1 + w2x2 + w3x3
式中w1、w2、w3是x1、x2、x3的权重(weight)
(2)判定条件
无输入信号:y=0 :w1x1 + w2x2 + w3x3 < r
有输入信号:y=1 :w1x1 + w2x2 + w3x3 >=r
式中 r 神经元固有的阙值
3.点火条件的图形表示
1.3激活函数:将神经元的工作一般化
1.激活函数
点火的式子:y = u(w1x1 + w2x2 + w3x3 -r) u 是单位阶跃函数,
将该式一般化: y = a(w1x1 +w2x2 + w3x3 -r)----激活函数
2.神经元和神经单元的不同点
神经元 | 神经单元 | |
---|---|---|
输出值y | 0或1 | 模型允许的任意数值 |
激活函数 | 单位阶跃函数 | 由分析者给出,其中著名的是Sigmoid函数 |
输出的解释 | 点火与否 | 输出单元的兴奋度、反应度、活性度 |
Sigmoid函数:
3.偏置
y = a(w1x1 + w2x2 + w3x3 -r)
-> y = a(w1x1 + w2x2 + w3x3 + b) (b --偏置)
加权输入:
z = w1x1 + w2x2 + w3x3 + b ---->z = w1x1 + w2x2 + w3x3 + b*1
1.4什么是神经网络
将神经单元的多个输入x1,x2,…,xn整理为加权输入z
z = w1x1 + w2x2 + … +wnxn+ b
其中w1,w2…wn为权重,b为偏置,n为输入的个数;神经单元通过激活函数a(z),根据加权输入z输出y
y = a(z) 将这样的神经单元连成网络状,就形成了神经网络;
1.阶层型神经网络
(1)按照 层(layer) 划分神经单元,通过这些神经单元处理信号,然后通过输出层输出结果;
(2)前一层的神经单元与后一层的所有神经单元都有箭头连接,这样的层构造称为 全连接层;
(3)神经网络各层的职责
输入层:负责读取给予神经网路的信息。属于这个层的神经单元没有输入箭头,是简单的神经单元,只是将从数据得到的值原样输出;
隐藏层:隐藏层的神经单元执行信息处理操作。在神经网络中,这是实际处理信息的部分;
输出层:输出层和印尼擦高层一样执行信息处理操作,并显示神经网络计算出的结果,也就是整个神经网路的输出;
深度学习就是叠加了很多层的神经网络。
1.5网络自学习的神经网络
(1)神经网络的参数确定方法分为有监督学习和无监督学习;
(2)有监督学习:为了确定神经网络的权重和偏置,实现给予数据,这些数据称为学习数据;
(3)根据给定的数据确定权重和偏置,称为学习;
(4)计算神经网络得出的预测值和正解的为误差,确定使得误差总和达到最小的权重和偏置,这在数学上称模型的最优化;
(5)针对全部学习数据,计算预测值与正解的误差的平方(称为平方误差),在相加,得到的误差总和称为代价函数,用Ct表示;
二、神经网络的数学基础(上)
2.1神经网络所需的函数
1.一次函数
(1)单个自变量: y = ax + b (a、b为常数,a !=0)
a-----斜率 b-----截距
(2)两个自变量:y = ax1 + b*x2 + c(a、b、c为常数,a、b !=0)
(3)在神经网络中,神经单元的加权输入可以表示为一次函数关系,
z = w1x1 + w2x2 + w3x3 + b
2.二次函数
(1)单个自变量:y = ax^2 + bx + c (a、b、c为常数,a !=0)
(2)两个自变量:y = ax1^2 + bx1x2 + cx2^2 + q1x1 + q2x2 + r
(3)实际的神经网络需要处理更多变量的二次函数;
3.单位阶跃函数
4.指数函数
5.正态分布的概率密度函数
正态分布是服从概率密度函数 f(x)的概率分布;
用计算机实际确定神经网路时,必须设定权重和偏置的初始值,使用正态分布的随机数,容易取得好结果;
2.2有助于理解神经网络的数列和递推公式
1.数列
(1)数列是数的序列; (2)数列的每一个数称为项
2.数列的通项公式
将数列的第 n 项用一个关于 n 的式子表示出来,这个式子即该数列的通项公式;
3.数列与递推关系式
一般地,如果已知首先a1,以及相邻两项 an,an+1的关系式,就可以确定这个数列,这个关系式称为递推关系式;
4.联立递推关系式
2.3神经网络中经常用到的Σ符号
1.Σ符号的含义
表示数列的总和
2.Σ符号的性质
线性性质:
1.和的Σ为Σ的和;
2.常数倍的Σ为Σ的常数倍;
2.4有助于神经网络的向量基础
1.有向线段
(起点)A---->B(终点)
2.向量
(1)向量是具有方向和大小的量;
(2)向量的坐标表示:把箭头的起点放在原点,用箭头的终点的坐标表示向量,向量a = (a1,a2);
(3)向量的大小:表示向量的箭头的长度称为这个向量的大小,用|a|表示,|a| = √(a1^2 + a2^2);
(4)向量的内积:a · b = |a|*|b|*cos(θ),(θ为a,b夹角);
3.柯西-施瓦茨不等式
-|a||b| <= a · b <= |a||b|
梯度下降法的原理:
(1)当两个向量方向相反时,内积取得最小值;
(2)当两个向量不平行时,内积取平行时的中间值;
(3)当两个向量方向相同时,内积取得最大值;
通过内积可以知道两个向量的相对的相似度;
4,内积的坐标表示
当向量a(a1,a2) , b(b1,b2)时,a · b = a1a2 + b1b2;
当向量a(a1,a2,a3) , b(b1,b2,b3)时,a · b = a1a2 + b1b2 + a3b3;
5.向量的一般化
(1)向量的坐标表示:a = (a1,a2,…,an)
(2)内积的坐标表示:a · b =(a1b1,a2b2,…,anbn)
(3)柯西-施瓦茨不等式:-|a||b| <= a · b <= |a|*|b|
6.加权输入表示为内积形式
神经单元有多个输入x1,x2,…,xn时,将它们整理为如下加权输入,z = w1x2,w2x3,…,wnxn + b;
其中w1,w2…wn为权重,b为偏置,;
使 w =(w1,w2…wn),x =(x1,x2…xn)这两个向量,我们可以将加权输入表示为内积形式,z = w·x + b
2.5有助于神经网络的矩阵基础
1.矩阵的定义
(1)矩阵是数的阵列,横排是行,竖排是列,位于第 i 行第 j 列的值(称为元素)用aij 表示;
(2)方阵:行数和列数相同的矩阵;
(3)行向量、列向量
(4)单位矩阵:对角线上的元素 aii 为1,其他元素为 0 的矩阵;
2.矩阵相等
两个矩阵A、B相等的含义是它们的元素对应相等,记A = B;
3.矩阵的和、差、常数倍
(1)两个矩阵A、B的和A+B,差A-B定义为相同位置的元素的和、差所产生的矩阵;
(2)矩阵的常数倍定义为各个元素的常数倍所产生的矩阵;
4.矩阵的乘积
(1)对于两个矩阵 A、B,将 A 的第 i 行看作行向量, B 的第 j 列看作列向量,将它们的内积作为第 i 行第 j 列元素,由此而产生的矩阵就是矩阵;
(2)矩阵的乘法不满足交换律:AB !=BA
(3)单位矩阵与任意矩阵的乘积满足以下交换律:AE = EA =A
5.转置矩阵
将矩阵 A 的第 i 行第 j 列的元素与第 j 行第 i 列的元素交换,由此产生的矩阵称为矩阵 A 的转置矩阵,用 tA、At 等表示
2.6神经网络的导数基础
1.导数的定义
(1)已知函数 f(x),求导函数 f’(x),称为对函数 f(x) 求导
(2)当导函数的值存在时,称函数可导
(3)神经网络中用到的函数的导数公式:
2.导函数的含义
3.导数符号
4.导数的性质
线性性
5.最小值的条件
2.7神经网络的偏导数基础
1.多变量函数的定义
有两个以上自变量的函数称为多变量函数;
2.偏导数
关于某个特定变量的导数称为偏导数
3.多变量函数的最小值条件
三、神经网络的数学基础(下)
3.1误差反向传播法必需的链式法则
1.神经网络和复合函数
已知函数 y = f(u),当 u 表示 u = g(x)时,y 作为 x 的函数可以表示为形如 y = f(g(x))的嵌套结构(u,x表示多变量),这时,嵌套结构 f(g(x))称为发 f(u)和 g(x)的复合函数;
2.单变量函数的链式法则
已知单变量函数 y = f(u),当 u 表示为单变量函数 u = g(x)时,复合函数 f(g(x))的导函数可以如下求出:
3.多变量函数的链式法则