小诸葛080的专栏

前向神经网络的目标估计某个函数f几个基本概念 - 模型的深度 - 输出层 - 隐藏层 - 模型的宽度现代神经网络的研究基于数学和工程上的准则，不再一味地模仿人的大脑。所以我们可以将前向神经网络看成函数逼近器，用来实现统计泛化。线性模型将模型能力限制在线性函数中，为了将其进行扩展，可以使用Φ(x)将x进行非线性变换，然后对Φ(x)使用线性模型。 关于Φ(x)的选择： 1. 使用通用

由于神经网络的非线性导致其代价函数大多数情况下都是非凸的，所以使用基于梯度的迭代算法不能保证代价函数达到最小值。凸优化从任何初始值都会保证收敛（理论上，实践中可能会遇到数值问题）。在非凸代价函数上使用随机梯度下降不能保证收敛，同时对初始值比较敏感。应用基于梯度的学习，我们必须选择： 1. 代价函数 2. 怎么表示模型的输出1 代价函数大多数情况下，参数模型定义了一个分布pmodel(y|x;θ)

如何选择隐藏单元的类型？隐藏单元接受一个输入xx，先进行仿射变换z=WTx+bz=W^Tx+b，然后对zz的每个元素应用激活函数g(z)g(z)。大多数隐藏单元之间的不同主要在于激活函数的选择。1. ReLU及其泛化ReLU激活函数：g(z)=max{0,z}g(z)=max\{0,z\}缺点：对于激活函数为0的样例不能通过基于梯度的方法学习。所以对ReLU进行泛化：hi=g(z,α)i=max{0

神经网络的结构：神经网络有多少个神经单元和这些神经单元之间怎么连接。在链状结构中，上述问题变为选择神经网络的深度和每层的宽度。统一逼近理论：具有一个线性输出单元，至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。统一逼近理论表明，一个MLP（多层感知器）可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数，学习失败的原因有二： 1. 最优化算法不能得到理想函数

在Keras1.0版中新增加了functional model API（泛型模型），接收一个或一些张量作为输入，然后输出的也是一个或一些张量，同时仍然支持Sequential模型。 Sequential模型：一种特殊的模型，单输入单输出，一条路通到底，层与层之间只有相邻关系，没有跨层连接。这种模型编译速度快，操作上也比较简单。搭建神经网络流程1.模型结构model = Sequential()