神经网络
weareu
这个作者很懒,什么都没留下…
展开
-
tensorflow迁移错误
首先在Nsight Monitor中关闭tdr然后nsight\host\commen中找到DisableWpfHardwareAcceleration. reg,并运行原创 2020-11-07 20:07:15 · 152 阅读 · 0 评论 -
ResNet c++中加载问题
resne模型使用 python加载和C++加载结果不一样。背景:resnet模型固化方法:可以推广到所有包含BatchNorm的模型首先,训练一个resnet,使用tf.train.saver分别保存结构、权重;然后,定义一个测试模型,加载权重,固化为pb模型;问题:刚开始是因为训练时除了训练模型外,还有测试模型,但是固化的时候仅定义了测试模型,导致加载不对,固化出错,后面发现问题...原创 2020-01-01 22:42:15 · 613 阅读 · 1 评论 -
编写神经网络时遇到的问题
一、VualeError:Cannot feed value of shape()for Tensor 'y_:0', which has shape'(?,)'#代码如下:label= int(label.strip())train_step.run(feed_dict={x:image, y_:label, keep_prob: 0.5})#改为:labels[0]= int...原创 2019-10-12 07:27:58 · 204 阅读 · 0 评论 -
tensorflow 相关技术
一、将单个图像组合成 batch方法一: img_batch, lab_batch = tf.train.batch( [img, lab], batch_size = batchSize, capacity = capacity) 方法二: reader.read_up_to(n)原创 2019-10-12 07:01:32 · 149 阅读 · 0 评论 -
tensorflow保存模型的两种方法
由于神经网络训练比较复杂所以可能需要先保存训练好的模型,然后再需要的时候进行调用,下面介绍两种保存模型的方法:方法一:使用tf.train.Saver()保存代码,该方法保存的模型比较全,只要定义的变量均可获取,导入的模型与当前生成几乎具有一样的能力:#定义占位符,具有名称的变量可以被在导入模型后获取x = tf.placeholder(tf.float32, [None, 784], n...原创 2019-01-09 16:07:11 · 3782 阅读 · 2 评论 -
std::vetcor到Eigen::Tensor再到Tensorflow::Tensor的转换
普通的vector到Tensorflow中的Tensor需要经过Eigen的转换,先转换为Eigen::TensorMap,再转换为Eigen::Tensor,然后对TensorFlow中的Tensor进行赋值即可// 定义一个向量std::vector<float> data = { 1, 2, 1, 2, 1, 2};// 转换到Eigen::TensorMap,三个参数依次...原创 2019-01-15 08:30:18 · 3747 阅读 · 0 评论 -
神经结构自动设计
摘自《机器之心》该结构使用了200个V100GPU,可能是伏特级的计算卡。神经结构自动设计通常分为两类:强化学习和进化算法。强化学习中结构的组件选择被认为是一个行为,一系列的行为定义了一个神经网络结构,开发集准确度用作奖赏。进化算法中,通过变异和结构组件的重新联合进行搜索,有更好性能的结构会被挑选出来。这些方法工作于离散空间。神经架构优化(neural architecture opt...转载 2018-09-02 18:13:13 · 321 阅读 · 0 评论 -
模型优化策略
摘自《机器之心》一、动态超参数:该超参数为正则化项和权重,而非与网络拓扑相关的超参数。因为该类参数更改后需要大量的再训练,优势不明显。方法:梯度下降中,每完整更新参数一次后,调整正则化项和权重。1.1 Dropout设置 dropout:通过防止特征检测器的共适性来减少过拟合。但在训练初期,共适性可能是网络的最优自组织的开端,如果在该阶段抑制则可能导致训练过程加长。方法:增加一...转载 2018-09-02 11:57:45 · 2585 阅读 · 0 评论 -
深度神经网络初始化问题汇总,更新中。。。、
摘自《云梯社区》一、全0初始化,导致所有梯度一样,无法发挥神经网络优势。二、随机初始化权重,sigmoid或者tanh作为激活函数的情况下,可能导致梯度消失或梯度爆炸。改进:一、使用ReLU或Leaky ReLU作为激活函数,可以避免梯度消失,或梯度爆炸,因为梯度相对固定。二、根据激活函数启发式初始化权重不使用标准正态分布,而是k/n为方差的正态分布初始化W,即,随机生成权...转载 2018-09-01 21:07:58 · 346 阅读 · 0 评论 -
使用 tensorflow的 C++ 示例工程
工程文件为:https://blog.csdn.net/jiugeshao/article/details/79144438按图配置完成后,拷贝tensorflow.lib及tensorflow.dll到工程目录中,并将.lib文件填入”属性->配置属性->链接器->输入->附加依赖项”。release版本问题如下:一、编译过程中致命错误:包含文件深度太深 ...原创 2018-07-19 00:16:22 · 2291 阅读 · 2 评论 -
win7源码编译TensorFlow1.8.0
配置:win7SP1 + VS2015 + cuda 9.2.88 + cudnn-9.2-windows7-x64-v7.1过程:一、生成 vs2015 可用的解决方案,方法如下:(一)https://blog.csdn.net/jiugeshao/article/details/79144438(二)自己的实践设置工作环境为64位:"C:\Program Files ...原创 2018-06-28 23:42:36 · 1618 阅读 · 8 评论 -
软件地址
tensorflow地址1:https://github.com/fo40225/tensorflow-windows-whee1tensorflow地址1:https://pypi.org/project/tensorflow-gpu/tensorflow源码地址:https://github.com/tensorflow/tensorflowpython地址:htt...原创 2018-05-07 23:14:14 · 190 阅读 · 0 评论 -
win7离线安装tensorflow
系统:win7 x64软件及其依赖:Anaconda3-4.2.0-Windows-x86_64.exepip-10.0.1.tar.gztensorflow_gpu-1.7.0-cp35-cp35m-win_amd64.whl 1、termcolor-1.1.0.tar.gz 2、tensorboard-1.7.0-py3-none-any.whl 1)numpy-1....原创 2018-05-03 12:25:48 · 2198 阅读 · 2 评论