服务器
文章平均质量分 96
是Yu欸
这里是我读博期间的笔记本,记录学习和成长,争取顺利毕业ing
展开
-
【深度学习代码调试5】标准化数据集:TensorFlow Datasets (TFDS)自动化数据加载与预处理
是一个为机器学习模型提供标准化数据集的库。它不仅支持 TensorFlow,也可以与其他框架(例如 PyTorch)一起使用。TFDS 提供了一个一致的 API 来访问广泛的标准数据集,同时支持自动下载、预处理和缓存。TFDS 的核心目标是减少数据集准备的繁琐操作,帮助用户专注于模型开发,而不是数据处理。无论是图像、文本、时间序列还是其他类型的数据,TFDS 都可以帮助快速加载和处理。extract_dir='/tmp/tfds_extract', # 数据解压路径。原创 2024-10-24 10:29:52 · 1282 阅读 · 0 评论 -
【深度学习代码调试2】环境配置篇(中) -- 列出conda环境中所有env的pytorch版本
通过上述步骤,您可以手动或自动检查所有 Conda 环境中的 PyTorch 版本,特别是能够重点标注的环境。这对于管理多个虚拟环境并确保某些关键版本的依赖性非常有帮助。版权声明:本文为原创,遵循协议。转载请注明出处。hello,我是是Yu欸。原文链接 👉 ,⚡️更新更及时。欢迎大家添加好友交流。原创 2024-10-16 22:00:45 · 1250 阅读 · 0 评论 -
【深度学习代码调试1】环境配置篇(上) -- 安装PyTorch(安利方法:移除所有国内源,使用默认源)
如果之前添加了非官方源(如清华大学镜像源),可能会导致安装冲突或失败。这将从Conda配置中移除所有自定义的频道设置,使Conda恢复为默认配置。安装深度学习框架时,常常会遇到版本不兼容、依赖库冲突等问题。通过合理选择安装源、升级相关库,通常可以解决大部分问题。希望本文的记录能帮助大家顺利完成环境配置,并避免常见的坑。hello,我是是Yu欸。原文链接 👉 ,⚡️更新更及时。欢迎大家添加好友交流。原创 2024-10-16 22:00:19 · 1456 阅读 · 0 评论 -
【深度学习】单机多卡 | DataParallel将计算任务在多个 GPU 上并行执行,可以在多个 GPU 上分摊工作负载,从而加快训练速度
它在单机多卡环境中非常有用,可以在多个 GPU 上分摊工作负载,从而加快训练速度。PyTorch 中的一个工具,可以让模型在多个 GPU 上并行运行。它通过将输入批次拆分成多个子批次,每个子批次发送到不同的 GPU 上,并行执行前向传播和反向传播,然后将每个 GPU 上的梯度聚合到主 GPU 上进行参数更新。原创 2024-06-28 22:56:55 · 1614 阅读 · 4 评论 -
【深度学习】服务器炼丹代码配置、Python使用指定gpu显卡运行代码
在大型机构分配的服务器集群中,需要使用GPU的程序默认都会在第一张卡上进行,如果第一张卡倍别人占用或者显存不够的情况下,程序就会报错说没有显存容量,所以能够合理地利用GPU资源能帮助你更快更好地跑出实验效果。本篇博客将介绍在服务器上进行深度学习炼丹(即训练模型)时如何配置代码,以及如何在Python中指定特定的GPU显卡来运行代码。原创 2024-06-28 22:45:22 · 1486 阅读 · 0 评论 -
OpenNJet:新一代云原生应用引擎
云原生是在云计算环境中构建、部署和管理现代应用程序的软件方法。对于企业而言,如果有一个高度可扩展、灵活且具有弹性的应用程序,那么不就可以实现快速更新,就能够更方便的迭代产品了吗?在这一理念下,云原生的出现便成为一种必然。应用引擎通常是一种软件平台或框架,它提供了一组工具,库和服务来帮助开发人员更轻松的构建应用程序,并且能够自动处理一些底层的基础设施问题,从而让开发人员能够更专注与业务逻辑的开发。原创 2024-05-06 11:44:43 · 3140 阅读 · 68 评论 -
【服务器】python通过JDBC连接到位于Linux远程服务器上的Oracle数据库
> 没有找到合适的参考链接,在gpt的协作下一步完成了这份指南。欢迎交流 ~在Python项目中,如果你的目标是通过JDBC连接到位于Linux远程服务器上的Oracle数据库,你可以选择使用第三方库如`JayDeBeApi`,它提供了一个在Python中使用JDBC驱动连接数据库的接口。还可以使用Oracle的官方库`cx_Oracle`来进行这种操作,但是不在本篇指南的范围内。原创 2024-04-25 12:50:57 · 3470 阅读 · 16 评论 -
【服务器】ssh本机连接服务器失败
ssh本机连接服务器失败(ssh: connect to host 111.47.28.118 port 9722: Connection timed out)一. 问题描述想要在本机连接服务器… 可是装好mobaxterm后, 发现输入ssh端口号和ip时报错, 但账号应该是对的。通过cmd直接连接也报错ssh: connect to host 111.47.28.118 port 9722: Connection timed out二.解决问题参考链接:ssh本机失败(ssh: connec原创 2022-05-03 21:20:00 · 14335 阅读 · 0 评论 -
【服务器】服务器上后台运行python程序
一直是pycharm运行服务器上代码,但存在问题:本机电脑休眠则程序停止运行。但深度学习代码一跑一整天,不小心关了几次后很难受实习老师向我介绍了nohup,完美解决了这个问题此外,在服务器上跑代码时,直接在命令行运行代码,常常遇到代码还没跑完却因为网络不稳定等异常终止的问题,所以可以通过nohup指令将代码后台执行,也便于同时运行多个程序。还可以用它来下载torch那种,需要安装几个小时的包原创 2023-04-12 09:46:13 · 7806 阅读 · 1 评论
分享