深度学习方向（AI，图像处理，人工智能等）资料整理——读书笔记《Python深度学习》

书名：Python深度学习

作者：【英】尼格尔.刘易斯

什么是深度学习

有监督学习：训练的数据包含已知的结果。模型相对于这些结果进行训练。
无监督学习：训练的数据不包含任何已知的结果。算法自行发现数据中的联系。

激活函数

每个神经元都包含一个激活函数和一个阈值。阈值是输入信息激活神经元所必需的最小值。0~1，-1 ~ 1。
神经元的作用是对输入信号进行加权求和并应用于激活函数。输入层将数据传递给第一个隐藏层。然后隐藏层神经元将加权信息传输到输出层神经元。
ps1：随机梯度下降算法必须是可微的，如果函数有界会很有帮助。
ps2：隐藏层节点的激活函数将非线性引入网络中。

神经网络的大小通常由需要顾及的参数数量来度量。

sigmoid函数（logistic）：接收实数值，将其压扁到0-1的范围。函数的输出可被解释为人工神经元发射的概率。（运算成本低） f(u) = 1/1+exp(-cu)。c是参数，eg.1.5.

神经网络的学习算法

反向传播法：1.确定权重初始值。2.前向反馈。3.误差评估。4.使用输出层的误差重新调整权重。并计算想对于权重值变化的误差变化的梯度。5.以降低变化梯度对权重做出调整。根据激活函数的导数，网络输出和实际目标结果之间的偏差，以及神经元输出调整每个神经元的权重和偏差。神经网络通过设置随机值的权重和偏差进行初始化，随机值设置在（-2n~2n）内，其中n是输入属性的数量。

梯度下降算法容易陷入局部极小值的境地，解决方法
1.指定一个冲量参数
2.使用随机梯度下降（SGD）：随机选择样本来更新参数，并在该样本的相关梯度上移动，遵寻一条曲折的通往极小值的梯度路径。
SGD的一个非常好的理论特性是，如果损失函数是凸的，那么保证能找到全局最小值。

深度神经网络简介（DNN）

可以将DNN视为多个回归模型的组合，在某些情况下，我们可以将每个隐藏层解释为一个简单的对数线性模型。
在图像压缩中，使用线性整流（ReLu）激活函数，用在隐藏层的激活函数上。因为“得到更好的网络泛化，并减少实际的压缩–解压时间。”
如何快速地近似任何函数：一个隐藏层足以模拟任何分段连续函数。
来自研究人员Hornik等人的定理：设F是n维空间有限子集上的连续函数，那么存在一个包含有限个隐藏单元的双层神经网络F^，它近似等于F，对于F域中的所有的x，I F(x) - F^(x)<sigma I
给的例子是使用neuralpy.Network方法训练的，每次都是不一样的权重，但是结果会非常逼近真实值。

有监督学习和无监督学习

有监督学习：有监督学习的基本目标是给定训练样本{xi，yi}的预测器。给定这样一组样本对，学习算法构造一个预测器，将实际映射到标签上。然后可以使用预测器从新的样本中预测y的适当值。如果y是真实值，那么做的是回归任务；如果y是无需的有限集合中的值那么做的是模式分类。
无监督学习：在无监督学习中，没有已标注的样本可以用来推断。无监督学习的关键是在于找到数据中的有用信息。
无监督学习利用数据中的特征，如可变性和可分性，来确定属性/特征的相关性。无监督学习的目标是将一组未标注的数据分成不同的种类或者聚类。
半监督学习：使用大量未标注数据和非常少量的标注数据。它可以在只有有限的带标注的观测值的情况下使用。

标准化的重要性

ps这里提供一个sklearn的软件包功能，可以轻松构建训练样本和测试样本。train_test_split方法。

import random
from sklearn.cross_validation import train_test_split
np.random.seed(2016)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2)

即把20%的数据作为测试集，其他80%用来训练模型。

学习速率详解

学习速率决定了梯度下降算法达到极小值的步长大小。网络在大学习速率下会较快速的学习，但学习速率过快可能会导致错过全局最小值，学习速率过慢则需要较长时间才能找到最佳极小值。
“最佳学习速率通常接近最大学习速率的一半，不会造成训练标准的偏差…………从一个大的学习速率开始，如果偏离了训练标准，则再次尝试该学习速率的1/3值，如此反复直到没有观察到偏离为止。”

fit函数用于将指定的模型拟合到实际的数据。函数接收参数，训练属性存储在x_train中，目标储存在y_train中。