小象学院梁斌python_Python数据分析_深度学习及TensorFlow.pdf

法律声明

 本课件包括：演示文稿，示例，代码，题库，视频和声

音等，小象学院拥有完全知识产权的权利；只限于善意

学习者在本课程使用，不得在课程范围外向任何第三方

散播。任何其他人或机构不得盗版、复制、仿造其中的

创意，我们将保留一切通过法律手段追究违反者的权利。

 课程详情请咨询

 微信公众号：小象

 新浪微博：ChinaHadoop

互联网新技术在线教育领航者

第八讲

LOGO

深度学习及TensorFlow

--梁斌

互联网新技术在线教育领航者

目录

• 人工神经网络

• 深度学习

• TensorFlow框架学习及使用

• TensorFlow实现卷积神经网络

• 实战案例：基于TensorFlow的图像识别

互联网新技术在线教育领航者

目录

• 人工神经网络

• 深度学习

• TensorFlow框架学习及使用

• TensorFlow实现卷积神经网络

• 实战案例：基于TensorFlow的图像识别

互联网新技术在线教育领航者

人工神经网络

背景

• 以人脑中的神经网络为启发，有多个版本

• 最著名的是1980年的backpropagation

神经网络基本组成

• 输入层(input layer )，隐藏层(hidden layers )，输出层(output layer )

互联网新技术在线教育领航者

人工神经网络

• 每层由神经元(neuron )或单元(unit )组成

• 输入层(input layer )是由训练集的样本特征向量传入

• 经过连接节点的权重(weight )传入下一层，上一层的输出是下一层的输入

• 上一层中的加权求和，然后根据非线性方程转化为下一层的输入

• 下图是3层神经网络(通常不算输入层)

互联网新技术在线教育领航者

人工神经网络

• 对于多层神经网络，理论上，如果有足够多的隐藏层和足够多的训练样本，可

以拟合出任意方程

设计神经网络结构

• 包括确定网络层数，每层的节点个数

• 特征向量在被传入输入层之前要进行标准化(normalize )到0-1间，为了加速

训练过程

• 神经网络既可以用来解决分类问题，也可以解决回归问题

• 输出层的单元数是类别的个数

• 没有明确的规则来确定隐藏层的个数和节点的个数

• 一般是通过交叉验证的方法确定

互联网新技术在线教育领航者

人工神经网络

Backpropagation算法

• 通过迭代处理训练集中的样本

• 对比经过神经网络后输出层的预测值和真实值

• 从输出层经过隐藏层反向传播到输入层，以最小化误差更新连接权重

算法过程

1. 初始化权重(weights)和偏置(bias): 随机初始化在-1到1的值，每个节点有 一

个偏向

2. 每个训练样本执行以下步骤：

2.1 由输入层前向传播，根据初始化的参数及激活函数 ，计算出节点的输出，

直到输出层

2.2 反向传播计算误差，更新权重和偏置

互联网新技术在线教育领航者

人工神经网络

算法过程

• 每个训练样本执行以下步骤(续)：

3. 终止条件

• 1) 权重的更新低于某个阈值,

• 2) 预测的错误率低于某个阈值

• 3) 达到预设的循环次数

互联网新技术在线教育领航者

人工神经网络

例子

1. 初始化权重(w)和偏置(b) ，提供输入(i)输出(o)

互联网新技术在线教育领航者

人工神经网络

2.1. 前向计算

• 隐含层 h1 ：

net w1i1w2i 2b11

h1

net  0.150.05 0.2 0.10.351