【学习笔记】20190524

收获：

 1、深度神经网络DNN是指含有多个隐藏层的神经网络，广义上包含CNN、RNN、DBN等神经网络。

例如：含有2个隐藏层的CNN就是一种DNN。

2、DNN训练过程：无监督预训练+有监督微调。

3、Spark+Tensorflow配合使用：可直接令DNN在Spark集群上进行深度学习。

 

摘抄：

深度学习的实质 及其 与浅层学习的区别 深度学习实质：多隐层+海量数据——>学习有用特征—–>提高分类或预测准确性 区别：（1）DL强调模型深度 （2）DL突出特征学习的重要性：特征变换+非人工

神经网络的发展（背景之类的） MP模型+sgn—->单层感知机（只能线性）+sgn— Minsky 低谷 —>多层感知机+BP+sigmoid—- (低谷) —>深度学习+pre-training+ReLU/sigmoid

介绍DNN（原理和应用） DNN：深度神经网络，广义上包含CNN，DBN，RNN等 优点：层数多，抽象能力强，模拟更复杂模型 应用：图像处理、语音识别、文本分类。。。

什么是深度学习、深度学习的训练过程是什么 无监督预训练(Layerwise Pre-Training)+有监督微调（fine-tune） 过程：（1）自下而上非监督学习特征 （2）自顶向下有监督微调

深度网络，顾名思义，就是有“很多”层的网络。

那么到底多少层算深度呢？这个问题可能没有一个明确的答案。某种意义上，这个问题类似“有多少粒沙子才能算沙丘”。但是，一般而言，我们把有两层或两层以上隐藏层的网络叫做深度网络。相反，只有一个隐藏层的网络通常被认为是“浅度网络”。

Spark和tensorflow深度学习框架的结合，使得tensorflow在现有的spark集群上就可以进行深度学习，而不需要为深度学习设置单独的集群