Google colab-思腾云

已于 2023-07-19 17:31:53 修改
阅读量721 收藏 2
点赞数
分类专栏： 学习过程总结 文章标签： 服务器 人工智能 linux
于 2023-01-12 18:03:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LXMXHJ/article/details/128429149
版权

文章目录

Google colab具体操作过程

Google colab
免费的；
具体使用步骤是：
https://blog.csdn.net/weixin_44498476/article/details/107700730 （参考1）
https://blog.csdn.net/Sciws/article/details/124739341
https://zhuanlan.zhihu.com/p/386162610
https://www.zhihu.com/question/266242493/answers/updated
弊端：最多可以连续使用12个小时，超时会自动将虚拟机回收；
个人看来：可以把其当做调代码测试的工具，也可以当做练习技能的过程。
找到一个不错的解决方式，可以试试最后一个连接，可以今天搞搞看。

失败了，更多的时候分配不到GPU。

问题1

参考1
按照博客操作，自己的实验运行了1小时49分钟。
保持电脑没有关闭，没有息屏，只能运行1小时49分钟；
具体的执行指令是：

1. 加载云盘，使得结果存储在google云盘中
from google.colab import drive
drive.mount('/content/drive')

2. 用于切换运行文件夹目录
%cd /content/drive/MyDrive/google drive的上传实验文件夹名字

3. 运行某个训练或测试代码
%run 运行文件名
问题2

GPU被占用的情况，说明google colab白嫖不容易。

AutoDL

问题1 无卡开机

选择开启实例的方式为无卡模式开机，
在这里插入图片描述
用于上传代码、修改代码都可以使用，但是这时候不能使用GPU。

思腾云使用

基础信息

网站地址：https://cloud.aiserver.cn/

帮助信息：
在这里插入图片描述
账号注册以及登录：网站：https://cloud.aiserver.cn/login

如何租用服务器？

在这里插入图片描述
在算力市场实现租借。

如何上传代码以及运行程序？

上传代码通过Xshell，xftp实现；

操作服务器的方式？
pycharm方式

参考
连接操作需要使用专业版，但我的是社区版 故此没有尝试。

导出pycharm运行环境

导出环境
	pip freeze > 文件名.txt
	freeze = 表示冻结的意思
	文件名.txt = 表示最终存储的文件
Xshell的形式

租借服务器后会生成链接 比如ssh的链接
链接形式是：ssh -p 端口号 用户名@ip地址

具体的配置过程
在这里插入图片描述

配置环境
关系
conda

参考
参考1

在看下conda版本与服务器的区别 没有本质关系

下载sh文件
	wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
执行sh文件
	bash Miniconda3-latest-Linux-x86_64.sh
初始化
	source miniconda3/bin/activate
	conda init
验证安装成功
	conda -V 输出版本号	
创建虚拟环境
	conda create -n xhj114 python=3.8
激活环境
	conda activate 环境名
安装cuda对应版本的pytorch
	conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
报错修改为
	修改镜像源
	conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
	查看相关镜像源
	conda config --show
	镜像源恢复，恢复成原来的样子 默认
	conda config --remove-key channels
重新尝试下载包：
	install pytorch torchvision torchaudio pytorch-cuda=11.6

  1. 安装anaconda的时候，没有换安装路径。
    在这里插入图片描述
    在这里插入图片描述

  2. Linux关于anaconda配置环境的相关命令：
    参考

查看版本号
	conda --version
查看虚拟环境
	conda info -e 或者 conda env list
创建虚拟环境
	conda create -n 环境名字
激活虚拟环境
	conda activate 环境名字
退出虚拟环境
	conda deactivate
查看当前虚拟环境安装的包
	conda list -n[环境名字]  或者 激活对应环境 conda list

环境配置：

配置环境 采用国内镜像
	pip install -r environment.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
	pip install -r environment.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
	pip install -i https://pypi.tuna.tsinghua.edu.cn/simple  opencv-python 
	scikit-learn
更新pip 使用国内镜像
	pip install  --upgrade pip -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

采用整体导入的形式，会出现各种各种的问题，于是决定单个包安装。

pip install ipython==7.28.0 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

pip install opencv-python -i https://pypi.mirrors.ustc.edu.cn/simple/

conda create -n xhj112 python==3.8
  1. xshell 停止程序运行
    暂停python程序运行 CTRL + Z
    终止python程序运行 CTRL + C

常用Linux命令？

切换到根目录
	cd /
查看日志文件内容
	tail -n xx 日志文件名字
		从尾部输出xx行内容
	head -n xx 日志文件名字
		从头部输出xx行内容
查看正在运行的进程
	top
ps 命令提供了正在运行的进程的完整列表，并根据选项来进行格式化。
	ps -aux
kill 命令:kill 命令将使用给定的进程ID一次终止一个进程
	kill xxx
问题1 libSM.so.6 和 libXrender.so.1

解决方式
ImportError: libSM.so.6: cannot open shared object file: No such file or directory
在这里插入图片描述
解决方式：apt-get install libsm6

ImportError: libXrender.so.1: cannot open shared object file: No such file or directory
在这里插入图片描述
解决方式：apt-get install libxrender1

问题2：运行代码出现的

突然的连接断开；

问题3：镜像保存问题

在这里插入图片描述
23.1.12 测试：
在服务器没有运行的时候 保存过一次镜像可以保存；
服务器运行过程中，保存镜像不成功；
最后服务器停止保存镜像还是不成功，可能是网站卡的缘故。不太清楚了。

问题4：xshell退出后远程程序不执行 nohup实现

使用nohup实现。

最开始形式
	nohup python 文件名 &
换一种形式：
	nohup python -u Job.py > log113.log 2>&1 &
	nohup python -u xxx.py > log113.log 2>&1 &
	nohup python -u train_xxx5.py > log113.log 2>&1 &
	nohup python -u train_x4_112.py > log115.log 2>&1 &
	nohup python -u predict_xxx5.py > log113test.log 2>&1 &
	在后台运行test.py程序，并将所有的结果（不管是报错还是输出）实时快速地输入到output.log文件中，就算关闭与linux的链接，程序照样执行直到其自己结束。

运行命令后会出现：
ignoring input and appending output to ‘nohup.out’

已证实 程序可以运行。

查看nohup.out文件
tail -n xxx xxx.out

问题5：xshell退出后远程程序不执行 screen实现
安装
	apt-get install yum
新开启一个screen窗口
	yum install screen -y
	出现错误 后续执行变成
		apt-get install screen -y 
新建一个xxx窗口
	screen -s xxx

这个没有搞懂。

问题6：Linux错误日志的查看

错误出现形式：
第一次 - epoch4 模型保存是1.12 20：50 ，epoch74 模型保存是 1.13 4:03 之后就停止了； 整体运行到78停止；
第二次 依旧如此 模型训练到epoch74就结束了。感觉应该不是程序的问题；整体运行到77停止；
第三次 依旧如此 模型训练到epoch74就结束了
前三次使用的都是2080T的显卡，
第四次使用的是3090的显卡 也出现了模型停止保存到情况，停下来的地方是146epoch；

在这里插入图片描述

参考
相同的问题，博客说是因为内存不够；

问题7：torch与cuda版本不匹配的问题 3090
卸载torch
	pip uninstall torch
安装torch
	pip install torch-1.0.0-cp36-cp36m-win_amd64.whl
下载 torch
	pip install torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7

3090的cuda是11.7版本 需要搭配torch1.13.0版本

pip install pytorch1.13.0 torchvision0.14.0 torchaudio==0.13.0 cudatoolkit=11.7

问题8：关于镜像打包的问题？

远程服务器运行时，打包镜像会出现程序运行异常的问题；
建议程序没有运行的时候打包镜像；这样速度会快一点；

问题9：如果训练使用的是在网盘中实现？

如果训练是在网盘中实现，则需要创建不同的文件夹进行训练。
如果在同一个文件中，则会出现多个主机，处理同一个文件的情况。
可以实现创建多个xhj文件夹 训练不同的模型。

问题10：程序运行固定轮次 训练结束？

GeForce RTX 2080Ti
内存：15G 显存：11G 硬盘：50G
epoch = 200 batchsize = 2 停止结束的是77轮 模型保存到74

GeForce RTX 3090
内存：30G 显存：24G 硬盘：50G
epoch = 200 batchsize = 4 停止结束的是146 轮 模型保存到144

Tesla V100- SXM2-32GB
内存：60G 显存：32G 硬盘：50G
应该可以跑完整个模型了。
segnet 模型 不能跑batchsize = 4 会内存溢出。

内存的缘故吗？
加大一倍的内存 然后模型保存的更多了。

问题11：实验过程记录

使用GPU3090
在这里插入图片描述

LXMXHJ
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
colab-ffmpeg-cuda:FFmpeg构建具有针对Linux的CUDA支持（尤其是针对Google Colab）
05-28
colab-ffmpeg-cuda FFmpeg带有CUDA支持，适用于Ubuntu（尤其是Google Colab），并带有预构建的所需二进制文件。 设置 重要提示：您必须更改运行时类型并使用GPU硬件加速器。 如果尚未完成，进行： 克隆存储库 # You need to prepend a `!` to execute a shell command in Goole Colab or Jupyter ! git clone https://github.com/rokibulislaam/colab-ffmpeg-cuda.git 将所有预构建的二进制文件从./colab-ffmpeg-cuda/bin/到/usr/bin/ （推荐） ! cp -r ./colab-ffmpeg-cuda/bin/. /usr/bin/ 检查已安装的ffmpeg版本 ! ffmpeg
思腾云计算 | 提供7*24小时专业运维服务，保障数据安全稳定高效
最新发布
STGPU的博客
02-22 342
无论用户遇到了什么问题或者疑问，只要拨打电话或发送邮件，思腾的工程师将会迅速响应并与用户联系，提供有效解决方案，保障用户的数据安全、服务稳定且高效。在这个部门中，每个运维人员都需要接受严格的技能培训和考核，掌握各类服务器、存储、网络等设备的操作和维护技巧，并具备一定的故障排除能力。在运维方面，思腾的技术团队始终保持警惕，随时准备应对各种突发情况。为了保障业务的高可用性和稳定性，思腾合力特别设立了一个由专业运维团队组成的部门，负责云计算中心24小时运维及日常维护，确保系统稳定高效运转，为用户提供优质服务。
思腾云计算中心 | 5千平米超大空间，基础设施完善，提供裸金属GPU算力租赁业务
STGPU的博客
02-21 1123
为助力东北、华北、西北等多省份科技发展，提高当地算力水平和实现智慧化升级，同时也为客户提供更快的算力交付和应用体验，思腾合力在夯实了天津人工智能产业园建设后，在内蒙古包头收购并建成思腾云计算数据中心，正式开启云计算业务。租服务器更划算，企业可以灵活租用，选择月租、季度租、年租等方式，减少一次性成本投入。既具备传统物理服务器卓越性能，又具备云主机一样的便捷管理平台，兼具了双方的优点，在满足核心应用场景对高性能及稳定性需求的同时，还兼备云计算的弹性、灵活性和传统物理机安全物理隔离的特点。
colab + cuda
sinat_28375239的博客
01-29 2363
谷歌的colab免费提供GPU。但需要安装juputer的一个插件以支持NVCC的源码编译，在代码块中添加如下代码： # add nvcc support for jupyter !pip install git+git://github.com/depctg/nvcc4jupyter.git %load_ext nvcc_plugin !nvcc --version 一、从hello world开始：要在笔记本中运行代码，请在代码的开头添加%%cu扩展名。 %%cu #include <
本地部署ChatGLM 和 colab部署
weixin_44305719的博客
04-25 1142
先卸载之前的，再nvidia-smi查询自己电脑GPU能安装的最大版本cuda version（右上角这个），再去官网下载对应版本，pytorch2应该是要求cuda11.7或者11.8。所以，，，之后我就搬到了云端，用了google colab，其中有免费GPU可以用，能跑起来int4。pip和conda都有可能报错，有可能网络不行，需要更换源，或者翻出去。如果修改成功，下载的时候给出的一堆英文里，是会有你自己写的这个地址的。报错的时候，缺啥下载啥，完了电脑可以的话，应该就能去web界面了。
思腾云计算
Jericho2022的博客
08-21 206
思腾合力是 AI 服务器与 HPC 基础架构解决方案商，专注人工智能服务器领域，拥有自主品牌 AI 服务器及通用 X86 服务器，主营深思 IW 系列 GPU 服务器产品可支持 1~20 颗加速计算芯片，适用于深度学习训练及推理等场景，覆盖服务器、静音工作站等多种产品形态，能够满足客户全场景需求。现已形成以天津为生产及研发基地、以北京为营销中心、以南京、深圳、成都、武汉、西安、内蒙古覆盖全国主要区域的营销和售后服务机构，为更全面地服务客户提供了有力保障。
云服务器上跑python代码其实很简单？
艽野尘梦的博客
04-13 6637
由于做仿真需要重复运行代码很多次，不仅耗时长，cpu温度还一直80度左右徘徊，就想能不能在云服务器上跑代码，但是作为云服务器小白，linux小白，随便搜了一些文章、教程，发现大家都是大佬都会Linux，去腾讯云官网看了一下，其实是有window系统的云服务，而且价格和linux系统一样。
解决使用Auto-GPT本地部署时无法连接Google的问题和无法连接openai的问题
weixin_43744732的博客
04-16 4171
在这篇博客文章中，我们将介绍如何解决使用本地部署时遇到的无法访问Google的问题。文章的目标受众为编程者和AI工作者。Command google returned: Error: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
Google colab踩坑
weixin_46088823的博客
06-28 2543
Colab踩坑 3.安装Anaconda来配置需要的安装包： 4.Linux下Anaconda的虚拟环境创建、激活 虚拟环境创建： 激活虚拟环境： 虚拟环境被激活之后，就不用进行其他的操作了，激活了虚拟环境后，想要运行的python文件就会在这个虚拟环境下运行安装各种依赖库时常会出现的错误有三个：（1）Command "python setup.py egg_info" failed with error code 1 in /tmp/p...
查看colab的cpu，gpu以及内存情况
热门推荐
打孔员的博客
09-06 1万+
查看colab的cpu，gpu以及内存情况 代码如下： print("============查看GPU信息================") # 查看GPU信息 !/opt/bin/nvidia-smi print("==============查看pytorch版本==============") # 查看pytorch版本 import torch print(torch.__version__) print("============查看虚拟机硬盘容量================") # 查看
colab-ssh:使用 SSH 连接到 Google Colab
08-04
Colab-ssh 是一个轻量级库，可让您使用 SSH 隧道连接到 Google Colab 虚拟机。 我可以在没有用户交互的情况下自动打开 Colab 笔记本吗？ 不，您仍需要手动打开 Google Colab Notebook 界面才能设置此工具。 Google...
使用SSH连接到Google Colab-Golang开发
05-26
Colab-ssh是一个轻量级的库，使您可以使用SSH隧道连接到Google Colab虚拟机。 :party_popper:高兴地宣布，当您使用init_git时，我们现在支持VSCode直接链接。Colab-ssh通过ssh轻松连接到Google colab什么是Colab-ssh...
Google-Colab-with-GPU
05-17
Google-Colab-with-GPU 我只是推荐一个开放平台Google Colaboratory（Colab），该平台能够使用带有GPU的各种机器学习算法来计算数据处理。 它易于使用，计算速度快，甚至免费。 （但是，您无法每天都使用Colab。...
google-colab-ssh
04-10
google-colab-ssh 使用SSH连接到Google Colaboratory实例。 用法 首先，生成一个SSH密钥（ ssh-keygen -t rsa ）并创建一个帐户（如果您还没有）。 在脚本的开头设置ssh_key和ssh_key并在ngrok_token中运行它。 它...
Google-Colab-RDP
02-15
Google Colab RDP 帮助您从Google制作终身免费Linux-Debian RDP的工具。 如何使用 打开此链接： : 单击运行按钮。 填写您的root用户信息。 等到安装程序要求您访问Google remotedesktop网站。 打开Goog​​le ...
colab上安装conda只能安装到/usr/local
我有明珠一颗的博客
03-23 590
colab上安装conda只能安装到/usr/local
使用ssh连接到google colab-golang开发
05-01
Google Colab是谷歌提供的一个免费的云计算平台，可以让用户在浏览器中运行代码。它支持多种编程语言，包括Golang。在使用Golang开发时，我们可能需要通过SSH连接到Google Colab进行开发和测试。 要使用SSH连接到Google Colab，我们需要完成以下步骤： 1. 在Colab中创建一个Golang笔记本，然后运行以下命令以安装openssh-server： ``` !apt-get install -y openssh-server !service ssh restart ``` 2. 在命令行终端中使用以下命令生成密钥对： ``` ssh-keygen ``` 3. 将公钥复制到Colab的authorized_keys文件中，这样我们才能通过SSH连接到Colab。我们可以通过以下命令将公钥添加到authorized_keys中： ``` cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 4. 确定Colab的IP地址，并使用以下命令通过SSH连接： ``` ssh -p 22 root@<Colab IP address> ``` 5. 连接成功后，我们可以在Colab中进行Golang开发。可以使用命令行编译和运行Golang代码。例如，我们可以使用以下命令编译和运行一个叫做“hello.go”的Golang文件： ``` go build hello.go ./hello ``` 总之，通过SSH连接到Google Colab进行Golang开发是非常方便的。我们只需按照上述步骤进行操作即可。这样，我们就可以使用Colab提供的免费资源进行Golang开发，而不需要在本地安装和设置相关环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值