brucewong0516的博客

神经网络结构的输出为所有输入的加权和，这导致整个神经网络是一个线性模型。如果将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，使得神经网络可以更好地解决较为复杂的问题。这个非线性函数也就是**激活函数**。

在进行神经网络模型的构建时，有优化模型训练速度的技巧，以下从两个方面进行分析。并在接下来实现MLP的模型中应用。1、优化梯度下降之前使用的梯度下降训练模型，优化模型的参数，但是每次更新梯度时需要把数据集中的每个样本都重新计算一边，在海量计算的深度学习中，这个计算量非常的大。因此引入随机梯度的思想，随机抽取一批数据进行计算（数据量参数是：batch_size），这样计算量会大大减少，但是

大部分深度学习都是以符号主义的方式使用。符号主义是说在建立模型任务的时候，首先定义各种变量，建立一个整体的计算图。计算图规定了各个变量之间的计算关系。建立好的计算图需要编译已确定其内部细节，但是此时的计算图还是一个空壳，里面没有任何数据，只需要你把需要的运算的数据转化为模型匹配的格式，才能在整个模型中形成数据流，从而形成输出值。准备数据，MNIST。对于MNIST来说，可以是图片识别领域的”h

DNN(Deep Neural Network)神经网络模型又叫全连接神经网络，是基本的深度学习框架。与RNN循环神经网络、CNN卷积神经网络的区别就是DNN特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。1、梳理一下DNN的发展历程神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，

基于中文官方文档与英文官方文档的学习笔记，较系统的总结学习历程。Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性） 支持CNN和RNN，或二者

1、符号计算 Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都是一个“符号式”的库。符号主义的计算首先定义各种变量，然后建立一个“计算图”，计算图规定了各个变量之间的计算关系。建立好的计算图需要编译以确定其内部细节，然而，此时的计算图还是一个“空壳子”，里面没有任何实际的数据，只有当你把需要运算的输入放进

序贯模型是多个网络层的线性堆叠，也就是“一条路走到黑”。1、通过Sequential构建模型 可以通过向Sequential模型传递一个layer的list来构造该模型：#导入序贯模型from keras.models import Sequential#导入神经网络前向传播层结构和激活函数from keras.layers import Dense,Activation#可以通

MLP的二分类：# -*- coding: utf-8 -*-"""Created on Mon Jan 8 23:52:46 2018序贯模型实例@author: BruceWong"""#MLP的二分类：import numpy as npfrom keras.models import Sequentialfrom keras.layers import Dens

基于多层感知器的softmax多分类：# -*- coding: utf-8 -*-"""Created on Tue Jan 9 00:11:20 2018@author: BruceWong"""import kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, A

类似VGG的卷积神经网络import numpy as npimport kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Flattenfrom keras.layers import Conv2D, MaxPooling2Dfrom keras.optimizers i

使用LSTM的序列分类from keras.models import Sequentialfrom keras.layers import Dense, Dropoutfrom keras.layers import Embeddingfrom keras.layers import LSTMmodel = Sequential()model.add(Embedding(max_

使用1D卷积的序列分类模型：from keras.models import Sequentialfrom keras.layers import Dense, Dropoutfrom keras.layers import Embeddingfrom keras.layers import Conv1D, GlobalAveragePooling1D, MaxPooling1Dmo

用于序列分类的栈式LSTM模型：在该模型中，我们将三个LSTM堆叠在一起，是该模型能够学习更高层次的时域特征表示。开始的两层LSTM返回其全部输出序列，而第三层LSTM只返回其输出序列的最后一步结果，从而其时域维度降低（即将输入序列转换为单个向量）from keras.models import Sequentialfrom keras.layers import LSTM, D

多输入和多输出模型：使用函数式模型的一个典型场景是搭建多输入、多输出的模型。考虑这样一个模型。我们希望预测Twitter上一条新闻会被转发和点赞多少次。模型的主要输入是新闻本身，也就是一个词语的序列。但我们还可以拥有额外的输入，如新闻发布的日期等。这个模型的损失函数将由两部分组成，辅助的损失函数评估仅仅基于新闻本身做出预测的情况，主损失函数评估基于新闻和额外信息的预测的情况，即使来自主损失函数

Keras函数式模型接口是用户定义多输出模型、非循环有向模型或具有共享层的模型等复杂模型的途径。一句话，只要你的模型不是类似VGG一样一条路走到黑的模型，或者你的模型需要多于一个的输出，那么你总应该选择函数式模型。函数式模型是最广泛的一类模型，序贯模型（Sequential）只是它的一种特殊情况。通过function模型构建全连接神经网络：# -*- coding: utf-8 -*-

图像输入层，通过卷积层（Convolution Layer）进行运算，然后池化,这两个是CNN特有的，卷积层的激活函数使用的是ReLU，池化就是对原矩阵进行压缩，得到一个值。

本次结合变量管理机制和模型持久化机制，并且将训练和测试分为两个独立的模块，这样使得每个模块更加灵活，本次也将inference前向传播过程抽象为函数库，方便调用。

会话拥有并管理TensorFlow程序运行的所有资源，当所有程序运行结束后需要关闭会话来帮助系统回收资源，否则就可能出现资源泄露的问题。

tf.train.Saver类也支持在保存和加载时给变量重命名，声明Saver类对象的时候使用一个字典dict重命名变量即可，{“已保存的变量的名称name”: 重命名变量名}，saver = tf.train.Saver({“v1”:u1, “v2”: u2})即原来名称name为v1的变量现在加载到变量u1（名称name为other-v1）中。

global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在 tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_steps)里面有，系统会自动更新这个参数的值，从1开始。

TensorFlow程序一般分为两段，一段是定义计算图的计算，第二阶段是执行计算。

TensorFlow模型持久化以及tf.train.Saver的应用

TensorFlow变量管理tf.get_variables/tf.Variable/tf.variable_scope的应用

简要阐述tensorflow基本框架

根据MNIST数据实现完整的TensorFlow程序，构图逻辑是：先定义参数、接着定义神经网络模型，最后训练。

TensorFlow神经网络模型训练及完整程序实例

TensorFlow神经网络参数与变量

本文仅对一些常见的优化方法进行直观介绍和简单的比较，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率。

采用stateful LSTM的相同模型：stateful LSTM的特点是，在处理过一个batch的训练数据后，其内部状态（记忆）会被作为下一个batch的训练数据的初始状态。状态LSTM使得我们可以在合理的计算复杂度内处理较长序列。from keras.models import Sequentialfrom keras.layers import LSTM, Denseimpor