深度学习与TensorFlow实战（一）深度学习基本概述

传统的机器学习算法例如SVM、Boosting、最大熵、LR都属于浅层的机器学习模型，这些模型只有一层隐藏节点，或者没有隐藏节点（LR），其局限在于有限样本和计算单单元对复杂函数的表示能力有限，泛化能力的局限性也较大。深度学习可以通过学习深层非线性网络结构，实现复杂函数的无限逼近，展现出强大的从少数样本中学习数据集特征的能力。使用多层隐藏节点可以用较少的参数表达复杂的函数。
深度学习的实质：通过构建具有构建多隐藏层模型和大量的学习数据，来学习更有用的特征，提高分类和预测的准确性。深度学习是手段，特性学习是目的。与传递的机器学习模型相比具有以下特征：

• 具有多层隐藏节点，目前可达上百层。
• 通过逐层特征变化与学习，将样本空间的特征变化到一个新的特征空间

深度学习是机器学习的一个分支，通过组合低层特征形成更加抽象的高层表示属性特征，传统的神经网络存在一些缺点：

• 比较容易过拟合
• 训练速度慢

反向传播算法（BP）：一种传统的神经网络训练算法，对于多层网络，该训练方法已经很不理想了，深度神经网络涉及多个非线性处理单元层。BP算法存在的一些问题：

• 梯度越来越稀疏：从顶层越往下，误差校正信号越来越小。
• 收敛到局部最小值
• 要用有标签的数据来训练，一般数据是没有标签的。

深度学习训练过程：

• 使用自下向上的非监督学习（从底层开始，逐层向上训练）：使用无标签数据分层训练各层参数，可以看做是无监督的训练过程（feature learning）。将前一层输出的参数作为下一层的输入。
• 自顶向下的监督学习（通过带标签的数据去训练）：基于第一步得到的参数进一步微调整个多层模型的参数。

深度学习广泛用于人工智能三大领域：计算机视觉，语音识别，自然语言处理（NLP）。