实战tensorflow——自编码器

自编码器简介：
深度学习提取的是频繁出现的特征；特征是需要不断抽象的，它从见到的微观特征开始，不断抽象特征的层级，逐渐网复杂的宏观特征转变。
特征的稀疏表达：使用少量的基本特征组合拼装得到更高层抽象的特征
Hinton的思路就是先用自编码器的方法进行无监督的预训练，提取特征并初始化权重，然后使用标注信息进行监督式的学习。

层数越多，神经网络所需要的隐含节点可以越少。

层数较深的神经网络的缺点：容易过拟合，参数难以调试，梯度弥散
防止过拟合的方法：
①dropout:大致思路是，在训练时，将神经网络某一层的输出节点数据随机丢弃；实质上等于创造了很多新的随机样本

梯度弥散：当神经网络层数较多时，Sigmoid函数在反向传播中梯度值会逐渐减小，导致根据训练数据的反馈来更新神经网络的参数将会十分缓慢。

RELu对比Sigmoid的主要变化有如下
①单侧抑制
②相对宽阔的兴奋边界
③稀疏激活性

卷积神经网络的应用：
①图像和视频
②时间序列信号
③音频信号
④文本数据

卷积层的几个操作：
①Wx+b
②进行非线性的激活函数处理（ReLU函数）
③池化：即降采样，将2x2图片降为1x1的图片；目前使用最大池化，保留最显著的特征，提升模型的畸变容忍能力
④最常见的最
 

#%%
# Copyright 2015 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# =========================