第1节 - 深度学习概述

本节主要内容 :

1. 什么是深度学习

2. 深度学习基本结构

总结 

1. 什么是深度学习

深度学习是一种神经网络，《纽约时报》报道 说，“深度学习让机器执行人类的活动，如看、听和思考，进行模式识别， 促进了人工智能技术的进步”。 (November 25, 2012)，深度学习是人工智能的一大进步，革命性的大佬来了

，还有一些经典的算法： 

 同时已经在一些工业上应用了：“谷歌大脑”（Google Brain）项目运用深度学习的研究成果，使用 1000 台电脑创造出包含 10 亿个连接的“神经网络”，使机器系统学会 自动识别猫，成为国际深度学习领域广为人知的案例：

 微软2016年发布 了深度学习开源 工具Cognitive Toolkit，可用于 加速 CPU 和 NVIDIA GPU 上 的语音和图像识 别以及搜索相关 性等领域的发展：

我们国产的百度也有： 

 深度学习已经在人脸识别、智能安防监控、图像识别、文字识别、图像及视频编辑、人眼摄像机、车辆 大数据系统、大数据分析平台、行为分析、名片、扫描、OCR、活体检查、人脸身份验证、 证件识别、人脸检索、动态人脸识别、图像内容审查（色情、恐怖、敏感）、物体场景 识别、风格转化、活体检查、人脸身份验证、证件信息提取、城市数据大脑、智慧医疗 健康、智能硬件设备、智能客流、安防监控、医疗数据分析、穿衣、轮廓检查、物品分 类、智能驾驶、机器人等等上得到大量应用：

 2. 深度学习基本结构
1.受限玻尔兹曼机(Restricted Boltzmann Machines，RBM)RBMI是一种包含可视层和隐含层两层的随机神经网络模型，层内之间无连接，层间之间全连接，连接是双向的。

 当给定可视单元的状态时，各隐藏单元的激活状态之间是条件独立的，此时第 i个隐藏单元的激活概率为:

其中是sigmoid激活函数。

 当给定隐藏层单元的状态时，各可视层单元的激活状态之间也是独立的，第 i个可视单元的激活概率为: 

 2.RBM训练

对于一组给定的状态 (v,h) RBM作为一个系统所具备的能量定义为

 其中 θ  是RBM的参数， ai 是可视单元 i 的偏置bj 是隐藏单元 j 的偏置 基于该能量函数，可以得到 (v,h) 的联合概率分布：

 训练：

 3.RBM组成深度置信网

 DBN的成功在于，采用了逐层无监督的预训练