深度学习 踩的各种坑

最新推荐文章于 2022-05-09 14:02:24 发布
最新推荐文章于 2022-05-09 14:02:24 发布
阅读量865 收藏 1
点赞数
分类专栏： 深度零散知识点
引用请注明出处，并免费提供别人参考。
本文链接：https://blog.csdn.net/weixin_39875161/article/details/89486220
版权

 

未完待续，遇到问题解释一些问题

clone_loss与多GPU问题

clone_loss指的你在一个拥有多个GPU的服务器上训练模型的时候，就算你指定了GPU，设置了利用率，在目标设备无法完成需求情况下，tensorflow也会复制到多个gpu上运行。clone_loss的意思就是sum_loss。如果你只有一块GPU，那么就是clone_loss_1，就是所说的loss。

开始跑程序时候，一定要设置，否则会被骂哈哈

batch_size

batch_size应该是个偶数。不明白，只知道他的大小影响loss

script说明文档

很多大的框架里面都有例子，和相关的说明文档，好好看看。

loss在某一处很小值下不去

加个冲量或者换个优化器吧

优化器其实没啥用

优化器其实没啥用，就是调学习率。

颐水风华
关注
专栏目录
PyTorch深度学习实战（2）——PyTorch基础
盼小辉丶的博客
06-04 4万+
PyTorch 是广泛应用于机器学习领域中的强大开源框架，因其易用性和高效性备受青睐。在本节中，将介绍使用 PyTorch 构建神经网络的基础知识。首先了解 PyTorch 的核心数据类型——张量对象。然后，我们将深入研究用于张量对象的各种操作。PyTorch 提供了许多帮助构建神经网络的高级方法及组件，并提供了利用 GPU 更快地训练神经网络的张量对象。
深度学习TensorFlow---本人踩过的坑（报错总结）第一篇
qq_41570307的博客
06-12 4950
#2019年5月31 收获总结 ##报错一：object_detection/protos/*.proto: No such file or directory 解决方案：自己的路径\models\research\object_detection\protos 路径下的所有 .proto 文件都需要编译成 .py 文件才可以运行。。把/.proto 这部分改成文件夹下具体的文件...
令人烦躁的深度学习的坑
pypanda2019的博客
05-09 870
令人烦躁的深度学习的坑前言环境配置坑Anaconda安装Cuda安装训练坑图片标注训练集、验证集、测试集关于loss和val_loss 前言 我本为了完成一个科研小项目，从只懂python基本语法的状态入手，完成了一个利用深度学习目标检测的小项目，都说深度学习算法多么多么难，但如果只考虑应用其实上手也挺快的，不过在此过程中真正让人觉得烦躁、浪费大量时间的反而不是算法而是其他的一些东西。 环境配置坑 Anaconda安装 虽然说安装指引建议不要打勾，一般还是打勾比较好，不然就要自己去编辑环境变量。 Cuda
深度学习的这些坑你都遇到过吗？神经网络 11 大常见陷阱及应对方法
weixin_34381687的博客
08-01 739
如果你的神经网络不工作，该怎么办？作者在这里列出了建神经网络时所有可能做错的事情，以及他自己的解决经验。 忘记规范化数据 忘记检查结果 忘记预处理数据 忘记使用正则化 使用的batch太大 使用了不正确的学习率 在最后层使用了错误的激活函数 你的网络包含了Bad Gradients 初始化网络权重不正确 你使用的网络太深了 使用隐藏单元的数量不对 ...
深度学习并非万能：你需要避免这三个坑
weixin_34121282的博客
08-15 323
Tweaking Neural Net Parameters Three reasons that you should NOT use deep learning 深度学习在过去几年一直是人工智能领域最热门的话题。事实上，正是它激发了科学家、政府、大公司以及其他所有人对人工智能的极大新兴趣！这是一门很酷的科学，具有潜在的巨大的实用性和积极的应用。它正被...
小心深度学习这个“坑”（入门误区详细版）
gzq0723的博客
10-24 977
定位：深层学习在哪1、深层学习需要什么？数学线性代数：是有关任意维度空间下事物状态和状态变化的规则。概       率：是用来衡量我们对事物在跨时间后不同状态的确信度。编...
深度学习的遇到的坑
qq_42765168的博客
09-29 236
深度学习和rabbitmq线上问题实录 问题 flask face worker 监听rabbitmq 队列，对数据进行AI处理， 由于处理每条消息耗时较长，pika 连接mq 总是超时被server端断开连接 解决思路 由于频繁处理任务，所以用的是长连接，查阅资料，说是设置heartbeat=0,关闭客户端和server的心跳连接机制（官方不建议）,结果设置这个还是不行，就想着把heartbeat 的值改为三个小时，如果一个任务处理超过三个小时就完蛋， ...
深度学习TensorFlow---本人踩过的坑（报错总结）第七篇
qq_41570307的博客
06-26 2106
深度学习TensorFlow Object Detection API训练自己的模型时—本人踩过的坑（报错总结）第七篇** 2019年6月26日星期三 报错：Tensorflow object detection API训练中途报错 InvalidArgumentError (see above for traceback): Incompatible shapes:[2,1917] vs [4,...
深度学习之Pytorch---本人踩过的坑（报错总结）第十一篇
qq_41570307的博客
07-24 583
深度学习之Pytorch安装时遇到的问题—本人踩过的坑（报错总结） 在上篇博文中（即第十篇），解决了计算机积极拒绝，无法连接的问题，总以为安装pip install torchvision应该没问题，结果再次遇到各种问题，现把本次遇到的问题及解决方案罗列如下： 1.如下图所示，一大串红色字符 解决方案：这是由于网络不好的缘故，再试一次，就好 2、安装完torchvision之后，然后又报错要求to...
深度学习TensorFlow---本人踩过的坑（报错总结）第八篇
qq_41570307的博客
07-15 1427
深度学习TensorFlow Object Detection API训练自己的模型时—本人踩过的坑（报错总结）第七篇 注：此篇是训练YOLO_V3时碰到的一些问题，及给出的解决方案 **报错：**在anaconda prompt命令窗口下输入指令python convert_weight.py --convert --freeze，报错convert weight.py: error: unre...
TensorFlow目标检测API中这些损失(loss)代表含义是什么
Color Space的博客
11-04 8712
TensorFlow目标检测API中这些损失(loss)代表含义是什么？ RPN(Region Proposal Network)区域候选网络损失： 1.Losses/Loss/RPNLoss/localization_loss：RPN的本地化损失或边界框回归器的损失 2.Losses/Loss/RPNLoss/objectness_loss：分类器的损失，分类器是对边界框是感兴趣的...
深度学习踩坑之路
Fantastic
09-18 1887
看了这个标题，其实内容也没有太多的神秘，只是记录在做深度学习中遇到的一些bug以及对应的解决方案。 Issue1-模型部署 问题描述 使用Flask部署tensorflow+keras的建筑物识别Api的时候，模型加载成功，但是使用模型预测的时候会报错，提示：Tensor Tensor(“softmax_1/truediv:0”, shape=(?, ?, 2), dtype=float32) is not an element of this graph。具体代码如下： # 模型加载的代码： buildi
Triplet Loss、Coupled Cluster Loss 探究
Simon's Blog
07-25 1万+
因为要区分相似图像，所以研究了一下 Triplet Loss，还有今年 CVPR 的一篇文章：《Deep Relative Distance Learning: Tell the Difference Between Similar Vehicles》，这篇文章提出了 Coupled Cluster Loss 。文章的主要内容在之前的阅读笔记已经叙述过了，文本主要集中于对这两个损失函数的实验。
几种常用的loss function
Fan's Blog
08-22 2385
几种常用的loss function0-1 Loss:      L01(mi(w))=I[mi(w)<0]L_{01}(m_i(\boldsymbol{w}))=\mathbb{I}[m_i(\boldsymbol{w})<0] Log loss:      Llog(mi(w))=log(1+e−mi(w))L_{log}(m_i(\boldsymbol{w}))=\mathrm{log}(1
Caffe如何画出训练中的loss曲线图和accuracy曲线图
fx409494616的博客
11-17 1万+
第一种方法：重定向训练日志文件 我们在训练的时候会用到caffe/buile/tools/caffe 这个里面的train这个选项。想要画出在训练日志里显示的loss和accuracy图，就可以把这些输出的日志内容重定向到一个文件内，然后利用shell命令检索出其中的loss和accuracy值，再将其画出就行了。 第二种方法：利用tools/extra下的工具直接画出。 caffe自带了可以直接画出loss和accuracy曲线的图。也只需要我们在训练的时候多加上一句相应的记录训练日志文件的话即可。并使用
Slim模型部署多GPU
蓬莱道人的博客
09-18 5178
1、多GPU原理     单GPU时，思路很简单，前向、后向都在一个GPU上进行，模型参数更新时只涉及一个GPU。多GPU时，有模型并行和数据并行两种情况。模型并行指模型的不同部分在不同GPU上运行。数据并行指不同GPU上训练数据不同，但模型是同一个（相当于是同一个模型的副本）。TensorFlow支持的是数据并行。数据并行的原理：CPU负责梯度平均和参数更新，在GPU上训练模型的副本。多GPU...
深度学习实战教程（3）--（TensorFlow）inception_v4模型跑Google Flower数据集
热门推荐
对角巷
07-27 2万+
模型：slim框架下的Inception_v4模型 Inception_v4的Checkpoint：http://download.tensorflow.org/models/inception_v4_2016_09_09.tar.gz 数据集：google的flower数据集http://download.tensorflow.org/example_images/flower_photos.
这时需要安装anaconda，创建虚拟环境并安装相应的深度学习框架（本文用到的是pytorch）。anaconda安装踩的坑比较少，每次都比较顺利，但是下载pytorch时有一些注意的事项。
最新发布
10-25
对于深度学习开发者来说，创建虚拟环境是一种最佳实践，可以避免不同项目之间的依赖冲突。 首先，你需要访问Anaconda官网下载适合你操作系统的版本，并按照指示安装。安装过程中，确保勾选“Add Anaconda to PATH”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颐水风华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值