McGregorWwww的博客

一、关于超参数1、学习率训练经过几个批次 (batch or step) 模型的目标函数损失值就急剧上升，这说明模型训练的学习率过大，此时应该减小学习率，从头训练。学习率减缓机制1. 轮数减缓(step decay)2. 指数减缓(exponential decay)3. 分数减缓(1/t decay)应用最多的为轮数减缓不同学习率下loss随轮数的变化2、ba...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

How to Build a Deep Learning Project——With KerasStep One: Data readingFor cifar10, this step is very easy, Keras has already packaged it and split it into training data and testing data.from keras...

tf.add_to_collection()向一个集合中添加变量值，把变量变成一个列表官方文档中定义如下： tf.get_collection()从一个结合中取出全部变量，是一个列表 tf.add_n()把一个列表的张量依次加起来 ...

  将bias矩阵加到value矩阵中

 线性整流函数（修正线性单元）图像如下： tensorflow官方文档定义如下： 

        全连接层在卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等是将原始的数据映射到隐层特征空间的话，全连接层则起到将学到的特征表示映射到样本的标记空间的作用。        在实际应用中，全连接层可由卷积操作实现：对于前层是全链接的全连接层，可将其转化为卷积核为1×1的卷积；对于前层是卷积层的全连接层，可将其转化为卷积核为h×w的全局卷积，h和w分别为前层卷积...

tf.variable_scope主要作用为 生成一个上下文管理器，并指明需求的变量在这个上下文管理器中，就可以直接通过tf.get_variable获取已经生成的变量。#通过tf.variable_scope函数控制tf.get_variable函数来获取以及创建过的变量with tf.variable_scope("zyy"):#zyy的命名空间 v=tf.get_varia...

tf.conv2d_transpose(value, filter, output_shape, strides, padding="SAME", data_format="NHWC", name=None) 除去name参数用以指定该操作的name，与方法有关的一共六个参数：value：指需要做反卷积的输入图像，它要求是一个Tensorfilter：卷积核，它要求是一个Tensor，...

Dropout 由Hinton提出的一种效果显著的去拟合技术具体来说，在每一轮训练的过程中，随机让一部分隐层节点失效，这样就达到了改变网络结构的目的，但每个节点的权值都会被保留下来。在最终预测时，打开全部隐层节点，使用完整网络进行计算，就相当于把多个不同结构的网络组合在了一起。由于节点时随机失效的，所以有n个隐层节点的网络理论上就会产生 个不同的网络结构。并且由于不能保证每2个隐含节...

转自：https://blog.csdn.net/flyfish1986/article/details/77508783

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None) 函数的主要功能是实现从正态分布中输出随机值 参数的意义： shape: 一维的张量，也是输出的张量。 mean: 正态分布的均值。 stddev: 正态分布的标准差。 dtype: 输出的类型。seed: 一个整数...

1.pycocotools错误因pycocotools官方没有windows版本，所以无法直接安装第一个解决方案如下：而这样又会引起新的问题，详见： https://www.jianshu.com/p/de455d653301第二个解决方案更为简洁，有大神在github上发布了Windows版本，只需一条语句即可：pip install git+https://githu...

NoneType errors 是opencv以及python中常见的一种错误类型，而且一旦出现，对于新手来说较难debug，下面简要分析一下错误的原因并给出解决方法。原因一这种原因是出现频率最高的一种——cv2.imread的文件路径错误，比如：①路径不存在；②路径错误，不是指向图片所在位置的路径；③路径中包含中文字符，如汉字以及【】等中文字符；解决方法：仔细检查自己...

首先，在此网站中找到对应版本下载后放到 Anadonda3\Lib\site-packages 中，然后打开anaconda prompt，进入site-packages文件夹，并执行命令pip install opencv_python-3.4.1-cp35-cp35m-win_amd64.whl回车安装后打开python测试>>> import cv2RuntimeErro...

 池化层（pooling）  卷积神经网络中，池化层可以有效缩小矩阵的尺寸，既可以加快计算速度，也可以防止过拟合 常用的池化层有两种：最大池化层(max pooling) 以及 平均池化层(average pooling) 池化层的过滤器与卷积层类似，卷积层的过滤器是横跨整个深度的，而池化层的只影响当前深度的一个节点，所以池化层的过滤器要在长、宽以及深度这三个维度上...

2018.2.41.计算图是tensorflow中最基本的概念，tensorflow中所有的计算都会被转化为计算图上的节点。2.在tensorflow中，张量可以简单的被理解为多维数组。3.TensorFlow是一个通过计算图的形式来表述计算的编程系统。TensorFlow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。4.TensorFlow程序一般...

对于TensorFlow GPU版的安装，作为一个小白，我很是心累。看了很多前辈的博客，开始了自己的瞎搞之旅。首先我按照一位前辈的博客，下载安装了cuda 9.1以及cuDnn 8.0（前辈给的链接是9.1），然后将cuDnn解压到了指定的目录下，并更改了path环境变量，弄完这些后，我打开了anaconda；在anaconda中，建好了gpu环境，安装了tensorflow-gpu，输入impo...