跑深度学习实验有用的操作

已于 2023-10-05 22:58:09 修改
阅读量66 收藏
点赞数
文章标签： python 深度学习 linux
于 2023-10-01 16:55:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45574604/article/details/133434702
版权

由于ChatGPT出现后，我们不太需要记住某些命令的具体语法，而更要关注是否存在这样的功能以及如何用更恰当的语言来描述这样的功能。因此下面我将汇总自己在跑深度学习模型时需要用到的一些操作，分别以需求+简略解决方法的格式来写出，之后如果需要用到，可以将原话复制给ChatGPT，让它帮忙提出解决方案即可。

1.需求：在wget数据时，需要很长时间。但是怕xshell连接SSH容易中断，所以希望下载任务在服务器上自主运行。

解决方式：使用tmux在服务器上开一个会话，执行wget任务。这样即使断开SSH，tmux的会话依旧会持续进行。后期需要时，可以重新连接回去。

tmux
wget --no-check-certificate https://www-i6.informatik.rwth-aachen.de/ftp/pub/rwth-phoenix/2016/phoenix-2014.v3.tar.gz -O data/phoenix-2014/phoenix-2014.v3.tar.gz
#只需按下 Ctrl-b 然后 d。这样，您可以安全地退出SSH或关闭终端，而下载仍会在服务器上继续。
tmux list-sessions
tmux attach -t 0 #连接到0号会话
exit #退出该会话

 

 2.需求：使用环境变量指定cuda

export CUDA_VISIBLE_DEVICES=2

 

时间的河0
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习需要计算机配置,深度学习工作站配置推荐
weixin_33417703的博客
07-08 7948
在具体的论述之前，先说几个结论：1.目前只有Nvida GPU能完整的支持深度学习，所以请购买较新的nvidia显卡(pascal、turing架构以上)2.GPU上的投资回报比基本呈线性变化，因此可以按照自己的需要配置不同GPU。3.保持工作站长期稳定工作需要一个靠谱的电源，所以在电源选择上追求稳定。4.在现有预算下，GPU>CPU=RAM>=SSD5.云服务用起来简单，长期使用却十...
人工智能深度学习实验报告
01-23
人工智能深度学习实验报告
深度学习课程python编程PyTorch基本操作实验
08-29
1、使用Tensor初始化一个1×3的矩阵M和一个2×1的矩阵N，对两矩阵进行三种不同形式的减法操作，给出结果并分析三种方式的不同（若出现报错，分析报错的原因），同时指出在计算过程中发生了什么。 2、利用Tensor创建两个大小分别为3×2和4×2的随机数矩阵P和Q，要求服从均值为0，标准差为0.01的正态分布；然后对得到的矩阵Q进行形状变换得到其转置QT；最后求矩阵P和QT的乘积。 3、给定公式y3=y1+y2=x2+x3，且x=1。利用Tensor的相关知识，求y3对x的梯度，即dy3/dx。在计算过程中，计算 x3 时中断梯度的追踪，观察结果并分析 原因（可使用“withtorch.no_grad()”）。
基于Pytorch的深度学习实验报告
01-25
基于Pytorch的深度学习实验报告通常包括以下几个部分： 摘要（Abstract）：简要介绍实验的目的、方法、主要结果和结论。 引言（Introduction）：介绍实验的背景知识，包括深度学习的基本概念、Pytorch框架的特点以及实验的动机和意义。 相关工作（Related Work）：回顾与实验相关的研究工作，包括深度学习在其他领域的应用、Pytorch在类似任务上的表现等。 实验设计（Experimental Design）：详细介绍实验的方法和步骤，包括数据集的选择、预处理、模型结构、训练策略等。 实验结果（Experimental Results）：展示实验的结果，包括模型的训练过程、验证集和测试集上的表现、与其他方法的对比等。可以使用表格、图表等形式进行可视化展示。 讨论（Discussion）：分析实验结果，探讨模型的优点和不足，提出可能的改进方向。 结论（Conclusion）：总结实验的主要发现和贡献，指出未来的研究方向。 参考文献（References）：列出实验报告中引用的相关文献。 附录（Appendix）：提供实验的补充材料，如代码实现、
深度学习常见问题及消融实验技巧
11-18
深度学习常见问题及消融实验技巧
怎么在Linux中用tmux跑深度学习模型
zag666的博客
07-24 1040
当我们SSH 登录远程服务器，打开一个远程窗口执行命令，网络中断再次登录的时候，是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了，里面的进程也随之消失了。最常见的就是使用vscode连接远程服务器跑的深度学习任务，自己的电脑中途断网了再次登录找不到上一次执行的命令。 为了解决这个问题，即将会话与窗口"解绑"：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话"绑定"其他窗口。这时就需要用到**Tmux**这个会话与窗口的"解绑"工具，将它们彻底分离。
深度学习调参手册（二）：如何科学地设计深度学习实验
RicardoOzZ的博客
09-12 233
指标超参数是指用于评估参数对模型效果的参数调整超参数是值那些需要优化的参数，以便公平地比较指标超参数的不同值。这与统计学中的调整参数概念类似。固定超参数在本轮实验中不变。这些超参数的值在比较指标超参数时不需要（或我们不希望它们）改变。通过为一组实验固定某些超参数，我们必须接受从实验中得出的结论可能对固定超参数的其他设置无效。换句话说，固定的超参数为我们从实验中得出的任何结论创造了限制条件。例如，如果我们的目标是 “确定具有更多隐藏层的模型是否会减少验证误差”，那么隐藏层的数量就是一个指标超参数。
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
深度学习deep learning
qq_46458188的博客
11-28 1万+
一、简介 深度学习是包含多个隐层的机器学习模型，核心是基于训练的方式，从海量数据中挖掘有用信息，实现分类与预测。 早期的深度学习模型：编码器、循环神经网络、深度置信网络、卷积神经网络 衍生模型：堆叠降噪自编码器、稀疏自编码器、降噪自编码器 深度学习的常用模型：卷积神经网络（CNN），深度信念网络（DBN），深度自动编码器（DAE），限制玻尔兹曼机（RBM）。CNN有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域有很强优势。其他深度学习模型大多先采用无监督方式逐层预训练，再使用有...
深度学习实验报告+代码
11-15
深度学习实验报告+代码 实验内容： 1、实验一：深度学习环境配置 2、实验二：特征数据集制作和PR曲线 3、实验三：线性回归及拟合 4、实验四：卷积神经网络应用 5、实验五：生成对抗式网络应用
深度学习八股文
weixin_42693876的博客
09-17 6880
残差连接的有效性详解 （1）网络性能退化问题。 一般认为神经网络的每一层分别对应于提取不同层次的特征信息，有低层，中层和高层，而网络越深的时候，提取到的不同层次的信息会越多，而不同层次间的层次信息的组合也会越多，表达出来的特征也更更好，所以要构建深层神经网络，但是随着网络层数的加深，网络的性能反而下降，这就是深层网络退化的现象，这种现象出现的根本原因就是梯度消失和梯度爆炸的问题。 （2）BN可以用来解决梯度消失/爆炸的问题，但是是在数据层面上的做法。 covariate shift（协方差偏移）：这个现象指
2.树莓派4B 64位操作系统 从零搭建深度学习项目运行环境
HaoXinJT的博客
02-27 3132
树莓派的系统烧录树莓派的基础配置树莓派的开机连接树莓派的文件传输树莓派的软件安装树莓派的运行环境树莓派的系统备份测试运行现有模型。
跑深度模型的显卡_不止显卡！这些硬件因素也影响着你的深度学习模型性能
weixin_39830303的博客
11-22 3189
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注极市平台公众号，回复加群，立刻申请入群~作者：Justin ho来源：https://zhuanlan.zhihu.com/p/67785062本文已经作者授权，转...
深度学习关键要素：数据集汇总与分享
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-09 6799
在深度学习的应用中，数据被认为是最重要的因素之一。因此，选择一个好的数据集对于深度学习的成功至关重要。在选择数据集时，不仅需要关注数据量的大小、多样性以及质量，还要考虑数据集是否代表了所研究问题的真实情况。本文整理了当前深度学习领域公开的数据集，供大家训练模型时选择和使用。
【Python】Python中变量或者函数加下划线‘_‘的含义
yangweipeng708的博客
05-14 656
理解这些约定可以帮助Python开发者编写更清晰、更Pythonic的代码，并理解其他Python代码中的命名习惯。）通常用来指示特定的编程约定或用法，这些约定主要关乎变量和函数的可访问性以及预期的使用范围。在Python中，变量或函数前面加一个下划线（
python数据分析numpy基础之intersect1d求数组交集
sinat_34735632的博客
05-19 186
python的numpy库的intersect1d(x,y)函数，计算x和y的公共元素，并返回去重后的有序结果。相当于求两个数组中的交集，并且进行去重和排序。numpy.intersect1()查找两个数组的公共元素，并且返回去重后的有序结果。ar1，ar2：必选，列表、元组、数组；如果是多维则自动转一维数组；assume_unique：可选，bool，默认False，若为True则可以加快计算素材，此时ar1和ar2需为元素唯一的数组，否则结果不会去重；
python数据分析——时间序列
qq_74013365的博客
05-14 1978
时间序列是按照时间顺序排列的一系列随时间变化而变化的数据点或观测值。时间序列可以是离散的，例如每月的销售数据，也可以是连续的，例如气温和股票价格等。时间序列常用于预测和分析未来的趋势，例如经济增长、股票走势、天气变化等。时间序列分析是数据分析中的重要部分，它涉及到对随时间变化的数据进行研究，以揭示其内在规律、趋势和周期性变化。Python作为一种强大的编程语言，拥有众多的数据处理和可视化库，如pandasnumpymatplotlib和seaborn等，这些库在处理时间序列数据时表现出色。
Python实战开发及案例分析（31）—— 哈希算法
最新发布
贾贾的博客
05-20 555
哈希算法（Hash Algorithm）是一种将输入数据映射到固定大小的输出（通常是一个整数或字符串）的算法。哈希算法广泛应用于数据结构（如哈希表）、加密、数据校验等领域。下面将详细介绍哈希算法的基本原理，并通过具体案例展示如何在Python中实现和应用哈希算法。
深度学习数据操作实验的收获
05-11
深度学习数据操作实验主要包括数据集的处理、数据预处理、数据增强等内容，它可以帮助我们更好地理解深度学习中的数据处理过程，并且提高我们的实践能力。 在深度学习数据操作实验中，我们可以学习到以下收获： 1. 掌握数据集的处理方法，包括数据集的读取、分割、处理等。 2. 学会使用各种数据预处理方法，如归一化、标准化、缩放、降噪等，以提高数据的质量和模型的性能。 3. 熟悉各种数据增强技术，如旋转、翻转、裁剪等，以扩充训练数据集，提高模型的鲁棒性。 4. 理解各种深度学习框架的数据操作方式，如TensorFlow、PyTorch等。 5. 实践中掌握了如何使用Python进行数据操作，并且对Python的语法和基本库有了更深入的了解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值