![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
改编不是乱编
仅为记录学习使用,书写难免劣质粗糙,大佬轻喷
展开
-
win10下tensorboard无法显示的问题
1.cmd下进入tensorflow环境activate py35————————py35指装有tensorflow的python环境名(kernel)2.进入log文件对应盘符(我的放在E盘,貌似tensorboard需要指定盘符,不然找不到)e:3.直接打开对应log文件tensorboard --logdir=E://My_tensorboard//log4浏览器输入...原创 2019-03-25 09:11:03 · 474 阅读 · 0 评论 -
对抗神经网络学习(简单的理解)
深度卷积对抗神经网络(DCGAN)从随机向量生成真实图像如何构建一个新的GAN网络 1.定义目标 2.定义G的输入输出 3.定义D的输入输出 4.设计G和D的结构目标函数最大化D(是否是真的概率),最小化G训练判别器,使V(D,G)变大训练生成器,使V(D,G)变小反卷积理解:卷积操作展开逆过程模型结构:pooling层用convolutional层替代(减少信息损...原创 2019-04-06 23:05:06 · 1267 阅读 · 1 评论 -
(七)卷积神经网络调参
更多优化算法激活函数网络初始化批归一化数据增强更多调参技巧。。。。更多优化算法:~~随机梯度下降:1。受初始学习率影响很大 2。每个维度的学习率一样~AdaGrad算法:调整学习率,,,,,,前期regularizer较小,放大梯度,后期减小梯度,梯度随训练次数增大而减小,每个分量有不同的学习率,,,,,,缺点:前期学习率设置太大,后期学习率太小~RMSProp算法:是...原创 2019-03-23 23:48:09 · 527 阅读 · 0 评论 -
(六)VGG的tensorflow实现
VGG(理解:就是每层含两卷积加一池化层)import tensorflow as tfimport osimport pickleimport numpy as npCIFAR_DIR = "./../../cifar-10-batches-py"print(os.listdir(CIFAR_DIR))def load_data(filename): """read...原创 2019-03-23 22:40:17 · 218 阅读 · 0 评论 -
(五)神经网络进阶(各种网络结构)
AlexNet(2012):(1)首次使用Relu(2)双GPU并行结构(3)1,2,5卷积层后跟随max-pooling层(4)两个全连接上使用了dropout(随机冻结)以降低过拟合...VGGNet(2014): 2个3*3相当于1个5*5 2层比一层更多一次非线性变换 参数数量降低百分之28 。 。 。 网络结构 训练...原创 2019-03-23 22:17:46 · 364 阅读 · 0 评论 -
(四)神经网络训练优化(转)
个人理解:动量梯度下降(SDG+Momentum)Vt+1=pvVt+gradxXt+1=Xt-Alpha*Vt+1以上是利用动量加速训练过程,跳过一些局部最优解..........(参考资料)1) 随机梯度下降(SDG)随机梯度下降(Stochastic gradient descent,SGD)对每个训练样本进行参数更新,每次执行都进行一次更新,且执行更快。θ...转载 2019-03-23 20:06:10 · 446 阅读 · 0 评论 -
深度学习CNN&RNN实战---------图像生成文本
问题引入评测标准:(1)BLEU:缺点----重复值时匹配度高但无意义,倾向于短句,应该引入短句惩罚。。。。。模型:Encoder-Decoder问题建模--------》Beam Search生成文本:每一步取top-n结果下一步依靠上一步的top-n结果从n^2的结果中选择top-n生成top-n的路径用单独的语言模型来评测top-n的路径---------->...原创 2019-03-30 11:36:35 · 1066 阅读 · 0 评论 -
LSTM内部结构及其实现
原理参考:https://blog.csdn.net/banxin1995/article/details/85332465代码: with tf.variable_scope('lstm_nn', initializer = lstm_init): """ cells = [] for i in range(hps.num_lstm_la...转载 2019-03-30 10:17:24 · 518 阅读 · 0 评论 -
卷积神经网络学习笔记(二)基本概念
*解决问题的方式:1参数共享(图像处理中与物体位置无关) 2局部连接(降低参数数量)输出size=输入size-卷积核size+1滑动步长的概念卷积多通道:多个卷积核,提取不同特征激活函数:Relu激活卷积:P=边距paddingS=步长(stride)输出尺寸=(n-p)/s+1参数数目=输入通道数输出通道数卷积核长*宽池化:最大化池化&平均值池化用于减小图像...原创 2019-03-23 10:17:24 · 196 阅读 · 0 评论 -
Tensorflow深度学习神经网络学习笔记(一)二分类与多分类网络
二分类import tensorflow as tfimport osimport pickleimport numpy as npCIFAR_DIR = "./cifar-10-batches-py"print(os.listdir(CIFAR_DIR))def load_data(filename): """read data from data file.""" ...原创 2019-03-23 09:45:39 · 2218 阅读 · 1 评论 -
卷积神经网络tensorflow代码实战(三)3隐藏层加3池化层
import tensorflow as tfimport osimport pickleimport numpy as npCIFAR_DIR = "./cifar-10-batches-py"print(os.listdir(CIFAR_DIR))def load_data(filename): """read data from data file.""" w...原创 2019-03-23 10:43:44 · 364 阅读 · 0 评论 -
Caffe的基本概念
Caffe模块包含4个部分:Blob:Caffe中数据的封装,用于layer上流动Layer:输入层,输出层,神经网络层的抽象Net:神经网络结构,将layer层叠关联起来Solver:定义神经网络训练和测试参数Blob为四维连续数组(n,k,w,h)是基础的数据结构(minibatch,channnel,wide,height)可表示输入输出数据,也可表示参数数据Layer:网络...原创 2019-03-25 23:25:52 · 200 阅读 · 0 评论 -
卷积神经网络的应用理解
结论:[1 ] 卷积神经网络每一层的激活值都可以看作是图像的抽象表示解释卷积神经网络中某层的每个激活值都可以看作是一个分类器,众多的分类结果组成了抽象表示层次越高,抽象层级越高...原创 2019-03-25 22:06:32 · 183 阅读 · 0 评论 -
(八)fine_tune导入已有模型+参数快照恢复+固定低层训练高层
关键代码model_dir=os.path.join(run_dir,'model')if not os.path.exists(model_dir): os.mkdir(model_dir) saver=tf.train.Saver()model_name='ckp-01000'#导入前缀是该字符的模型model_path=os.path.join(model_dir,...原创 2019-03-25 16:24:13 · 281 阅读 · 0 评论 -
RNN循环神经网络笔记汇总
正向传播:反向传播:Tanh函数(-1~+1,可以防止梯度爆炸)多层网络与双向网络长短期记忆网络(LSTM)1.为什么需要LSTM:普通RNN的信息不能长久传播(只存在于理论中)2. 引入选择性机制:选择性输出,输入,遗忘3. 选择性->门...原创 2019-03-28 19:13:55 · 169 阅读 · 0 评论