qq_39751437的博客

概览多层感知机（MLP）和深度神经网络（DNN）是一样的模型，只是叫法不同。深度神经网络，卷积神经网络（CNN）都属于深度前馈神经网络（DFNN）。一、连接方式连接方式分为两种全连接，MLP采用，当前层的单元与上一层的每一个单元都有连接。稀疏连接，CNN采用，当前层的单元只与上一层的部分单元有连接。...

一般处理思路1、定义占位符tf.placeholder()生成的变量x,y_，方便后续数据的调用；2、生成隐藏层和输出层的参数weights，biases；3、计算前向传播的结果y，average_y；4、定义交叉熵并计算平均交叉熵损失5、计算L2正则化损失函数6、总损失等于交叉熵损失和正则化损失的和7、设置衰减的学习率8、使用优化函数优化损失9、定义反向传播优化更新参数的过程...

文章目录一、经典神经网络VGGNet介绍二、经典数据集Mnist介绍三、构建网络步骤及优化操作四、源代码五、遇到问题及解决方案六、 一般处理思路一、经典神经网络VGGNet介绍在大型网络结构中，可以定义多个函数来定义卷积操作，池化操作，全连接操作，以及前向传播操作，方便简洁，例如VGGNet。VGGNet把网络分成了5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，...

文章目录一、经典神经网络Alexnet介绍二、经典数据集Mnist介绍三、构建网络步骤及优化操作四、原代码一、经典神经网络Alexnet介绍二、经典数据集Mnist介绍三、构建网络步骤及优化操作建立一个baseline，使网络能跑起来，输出训练精度和测试精度添加dropout层，优化网络添加记录损失函数值的功能，加入损失函数的集合，观察训练效果改变keep_prob值，观察实验效果...

文章目录CNN演变史一、Inception v1模型二、Inception v2模型三、Inception v3模型四、Inception v4模型CNN演变史卷积神经网络从Alexnet以来突破的方向就是增加网络深度和宽度的同时减少参数，但网络深度的提升会带来参数的急剧增加，会产生过拟合，计算复杂度越高；另一方面，网络越深，梯度越往后穿越容易消失（梯度弥散），难以训练和优化模型；Incept...

文章目录一、NIN是什么MLP代替GLMGlobal Average Pooling一、NIN是什么GoogLeNet的Inception模型提出之时，其实idea是来自NIN，NIN就是Network in Network，NIN有两个特性MLP代替GLMGlobal Average Pooling转载：Network In Network 网络解析及论文解析MLP代替GLMG...

代码演示# -*- coding: utf-8 -*-import tensorflow as tfimport numpy as np """Created on Tue Jul 17 10:03:21 2018@author: C.H."""tf.reset_default_graph()#这一句话非常重要，如果没有这句话，就会出现重复定义变量的错误x = tf.place...

从别处转载，若侵权，联系我，删。tensorflow函数之tf.reduce_mean和tf.reduce_sum介绍tf.app.flags Tensorflow传参数与tf.app.run()的使用python os path命令大全访问文件的状态命令os.stat...

第一，二章（ CIFAR-10 图像分类）tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None) 从截断的正态分布中输出随机值shape: 一维的张量，也是输出的张量。mean: 正态分布的均值。stddev: 正态分布的标准差。dtype: 输出的类型。seed:...

作为第一个认真跑过的tensorflow程序，需要总结一下github链接https://github.com/hzy46/Deep-Learning-21-Examples/tree/master/chapter_2cifar10数据处理方面tensorflow有两种数据输入方法，第一种是使用feed_dict，这种方法在画graph的时候使用placeholder来站位，在真正run...

keras 用起来简单。搭建模型方便，Keras其实就是TensorFlow的接口（Keras作为前端，TensorFlow或theano作为后端），它也很灵活，且比较容易学。可以把keras看作为tensorflow封装后的一个API。MNIST使用序贯模型，导入Dense（全连接层）Dropout（），Dropout将在训练过程中每次更新参数时按一定概率（rate）随机断开输入神经元，...

一、概述二、优化网络的方法1、学习率的优化2、梯度下降的优化3、欠拟合和过拟合的优化Dropout为了防止神经网络的过拟合。它的主要思想是让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效。这样来预防过拟合。它主要避免对某个节点的强依赖，让反向传播的修正值可以更加平衡的分布到各个参数上（1）Dropout只发生在模型的训练阶段，预测、测试阶段则不...

预览卷积神经网络最主要在图像识别领域有很重要的应用，属于深度前馈神经网络范畴，卷积神经网络一般结构为输入层–卷积层–池化层–全连接层–输出层。一、输入层输入数据一般为图像，一般代表的是一张图片的像素矩阵，根据通道数的不同，图片像素矩阵有着不同的深度值，黑白图片只有一个通道，就深度为1。而彩色RGB图片有三个通道，就有深度为3。二、卷积层卷积层进行卷积操作，用卷积核将像素矩阵映射为特征矩...

概览本文将介绍几种经典的卷积神经网络模型，包括 LeNet-5，AlexNet，ResNet，VGGNet一、LeNet-5（1）模型概述模型结构第一层：输入层，输入的是32*32的黑白分辨率图像第二层：C1，卷积层，有六个特征图，卷积核大小为55，深度为 6，没有使用全0填充且步长为1，所以共有28286个神经元（32-5+1=28），参数数量为156（55*6+6=156，6为...

初始化权重不宜过大，不宜过小，权重应满足方差，均值为0，分布为高斯分布或均匀分布自编码器多层感知机

文章目录一、经典神经网络ResNet介绍二、经典数据集cifar10介绍及处理三、构建网络步骤及优化操作四、源代码五、遇到问题及解决方案六、 一般处理思路一、经典神经网络ResNet介绍随着神经网络（比如VGGNet16，VGGNet19）的层数不断加深，错误率也越来越低（能够提取到不同level的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息），但增加网络深度的同时，我们还要考...