Google Colab和Kaggle搭配使用

最新推荐文章于 2024-06-01 11:57:29 发布
最新推荐文章于 2024-06-01 11:57:29 发布
阅读量2.7k 收藏 16
点赞数 3
分类专栏： deep learning 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/edmond999/article/details/122577420
版权

深度学习越加火热，但是，很多实验室并没有配套的硬件设备，让贫穷的学生党头大😔
经过网上大量的搜罗，我整理了适合学生党的深度学习解决方案。利用Colab + Kaggle两大免费的GPU环境，让深度学习变得简单。

Colab

Colab基础使用

Google Colab提供了免费K80的GPU，通过Google Drive就可以很好的白嫖一波了 👉Colab 实用教程

Colab进阶使用

通过下载Google备份与同步到本地端，就可以实现数据的同步，保证了较大量的数据集在云端和本地端直接的无差错传输

通过这一同步，在本地端修改代码，可以在1分钟之内就同步到云端，方便与训练与修改。

❌但是，K80 GPU的算力较弱，且colab的连接不稳定，适用于对代码进行调试，不适于长时间的训练。

Kaggle

Kaggle提供免费访问内核中的Nvidia Tesla P100，相比于K80，算力提升了太多了。我在colab训练10小时最好80epochs，在kaggle上，训练不到1小时就可以80epochs，真是太感动了😂，配置如下：

创建账号

Kaggle.com

创建NoteBook

建议：创建时可以不选GPU，直接None就行了，否则，创建后就开始计时了，GPU一周可以使用39小时（当然可以多多创建账号）

配置notebook

  1. 上传代码及数据集要求压缩包上传，上传后Add进去就好了

  1. 写控制命令时，只需要复制路径就可以获得train.py的位置

  1. 训练结果保存的位置应该为/kaggle/working/...

  1. 数据集与代码管理

Kaggle进阶使用

Kaggle：不怕断开连接，睡觉起来看结果

通过这两大平台的结合使用，学生党可以方便的进行深度学习了，thanks for Google.

申庆胜
关注
  • 3
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
colabcode:在Google Colab或Kaggle笔记本上运行VSCode（代码服务器）
03-16
在Google Colab或Kaggle Notebooks上运行代码服务器 入门 ColabCode也有一个命令行脚本。 因此，您可以仅从命令行运行colabcode 。 colabcode -h将给出以下内容： usage: colabcode [-h] --port PORT [--password ...
colab-ssh:使用 SSH 连接到 Google Colab
08-04
Colab-ssh 是一个轻量级库，可让您使用 SSH 隧道连接到 Google Colab 虚拟机。 我可以在没有用户交互的情况下自动打开 Colab 笔记本吗？ 不，您仍需要手动打开 Google Colab Notebook 界面才能设置此工具。 Google...
手把手教大家如何使用Kaggle平台的免费GPU资源跑深度学习模型
最新发布
jiabiao1602的专栏
06-01 3296
手把手教大家如何使用Kaggle平台的免费GPU资源跑深度学习模型，包括平台介绍、注册遇到问题处理、登录后如何申请GPU资源、打开Jupyter Notebook及跑深度学习模型。
网站Colab与Kaggle
CSTGYinZong的博客
05-29 1076
教你白嫖算力（默认你会科学上网）1.Colab白嫖方式1.1 注册1.2 安装Colab1.3 新建ipynb文件1.4 初始化代码1.5 运行代码1.6 头疼问题1.6.1 长时间挂机就掉线2.Kaggle白嫖方式2.1 注册2.2 新建Notebook2.3 使用数据集2.3.1 使用Kaggle的数据集2.3.2 使用自己的代码和数据集2.4 使用GPU2.5 后台运行2.6 运行代码2.7 数据集和代码管理 1.Colab白嫖方式 1.1 注册 登录谷歌云硬盘。需要注册个Google账号。 1
kaggle和colab入门
stay_zezo的博客
08-30 2408
kaggle和colab都是谷歌的机器学习平台，都提供了gpu和tpu，但都有一定时间限制。对于没有gpu又不想花钱的朋友来说，是一个不错的选择。kaggle不需要科学上网，colab很好用，但是需要科学上网。 kaggle和colab对比： kaggelg官网：https://www.kaggle.com/ colab官网:https://colab.research.google.com/notebooks/welcome.ipynb 文章目录1、kaggle使用方法 1、注册kaggle账号 2
kaggle 和colab入门
liuhai1223的博客
04-26 258
深度学习免费GPU平台 kaggelg官网：https://www.kaggle.com/ colab官网:https://colab.research.google.com/notebooks/welcome.ipynb Colab colab使用谷歌云盘作为存储，需要科学上网，比kaggle高级多了，可以方便的上传、删除、修改数据和代码。谷歌账号 新建笔记本，在Colab上挂载Google Drive 上传文件夹到云端硬盘 进入到文件所在的目录 import os path="/content/dr
两大免费云端 GPU：Colab 和 Kaggle
fu_jian_ping的博客
08-17 957
两大免费云端 GPU：Colab 和 Kaggle，爱学习的你究竟该如何选择？​​​​​​​
colab和kaggle的正确用法
qq_33694238的博客
05-07 1488
1.首先在kaggle设置里面把你的kaggle.json 下载下来 2. 移动到谷歌云盘里面（我放在kaggle/kaggle.json的位置） colab新建一个ipynb，粘贴下面代码，挂靠验证一下（每个ipynb都需要这样挂靠） !cp /content/drive/'My Drive'/kaggle/kaggle.json /root/.kaggle !kaggle compet...
使用SSH连接到Google Colab-Golang开发
05-26
Colab-ssh是一个轻量级的库，使您可以使用SSH隧道连接到Google Colab虚拟机。 :party_popper:高兴地宣布，当您使用init_git时，我们现在支持VSCode直接链接。Colab-ssh通过ssh轻松连接到Google colab什么是Colab-ssh...
colabcat:使用会话备份和还原在Google Colab上运行Hashcat
03-18
协作猫在具有会话还原功能和Google云端硬盘的 上运行 。用法转到下面的链接以在Google Colab中打开colabcat.ipynb文件的副本： ://colab.research.google.com/github/someshkar/colabcat/blob/master/colabcat.ipynb...
MineColab：在Google Colab上运行Minecraft服务器
02-03
Minecraft是一款全球流行的沙盒游戏，而Google Colab则是一个免费的在线Jupyter笔记本服务，它提供了GPU和TPU资源，方便进行数据科学、机器学习以及编程教学等任务。通过将两者结合，MineColab使得搭建和管理...
60. 实战 Kaggle 比赛：图像分类 (CIFAR-10)【在colab上运行】
weixin_47505105的博客
01-05 1696
笔记
2. colab 和kaggle使用
aigonna
08-05 1246
1. 挂载硬盘 import os from google.colab import drive drive.mount('/content/drive', force_remount=True) 2. kaggle使用 去kaggle生成自己的token令牌上传到相应位置, 复制加权限 #!mkdir /root/.kaggle/ #如果没有 !cp /content/kaggle.json /root/.kaggle/kaggle.json !chmod 600 /root/.kaggle/kaggl
Google Colab, Kaggle
连理o的博客
08-18 1888
Colab 使用简介
Google colab中如何从kaggle中接入数据？
Yooooung_Lee的博客
03-18 1020
使用google colab或者其他在线jupyter编辑器进行数据分析和探索时，如何从Kaggle引入数据集呢？
Kaggle API + Google Colaboratory 配置
Leong Blog
03-22 391
写在前面：Google Colaboratory 的使用可以点击这里 本篇解决一个 kaggle API 在 Google Colaboratory 使用遇到的问题。 在 Google Colaboratory 安装 kaggle 包 1. kaggle 网站上点击 My Account 2. 创建 API Token，点击之后会下载一个 kaggle.json 3. 打开下载的 kaggle...
如何使用colab调用 Kaggle 数据集
qq_38156104的博客
01-06 1702
1.首先需要有 Kaggle 账号，下载个人 API Token 2.把下载的kaggle.json上传到 Google Drive 上的文件夹, 例如Kaggle文件夹 3.找到想要的数据集, 复制 API ！kaggle competitions download -c cassava-leaf-disease-classification 4.在colab中运行以下代码： import os from google.colab import drive drive.mount('
如何将kaggle的数据集直接下载到Colab
czp_374的博客
12-08 3335
添加链接描述
colab 下载kaggle
03-27
为了在 Colab 中使用 Kaggle，您需要执行以下步骤： 1. 登录到 Kaggle 平台，单击您的个人资料图标，然后选择“账户”选项。在页面底部，您将找到“Create New API Token”按钮。单击该按钮，Kaggle 将生成一个名为 kaggle.json 的 API token 文件，并将其下载到您的计算机。 2. 在 Colab 中创建一个新的笔记本，然后单击“文件”选项卡。在下拉菜单中，选择“新建笔记本”选项，然后选择“Python 3”运行时类型。现在，您可以通过以下代码将 kaggle.json 文件上传到 Colab 中： ``` from google.colab import files files.upload() ``` 此代码将在 Colab 中显示一个文件上传窗口。从您的计算机中选择 kaggle.json 文件并上传。 3. 现在，您需要安装 Kaggle API。在 Colab 的代码单元格中，输入以下代码： ``` !pip install -q kaggle ``` 4. 接下来，您需要配置 Kaggle API 以便下载 Kaggle 数据集。在 Colab 的代码单元格中，输入以下代码： ``` !mkdir ~/.kaggle !cp kaggle.json ~/.kaggle/ !chmod 600 ~/.kaggle/kaggle.json ``` 此代码将在 Colab 中创建一个名为 .kaggle 的新目录，然后将 kaggle.json 文件复制到该目录中。最后，此代码将为 kaggle.json 文件设置正确的权限。 5. 现在，您可以在 Colab 中下载 Kaggle 数据集。例如，如果要下载名为 my-dataset 的数据集，则可以在 Colab 的代码单元格中输入以下代码： ``` !kaggle datasets download -d username/my-dataset ``` 此代码将下载 my-dataset 数据集，并将其保存在 Colab 的当前工作目录中。 6. 如果您下载的数据集是一个压缩文件，则可以使用以下代码将其解压缩： ``` !unzip my-dataset.zip ``` 此代码将解压缩 my-dataset.zip 文件，并将其保存在与压缩文件相同的目录中。 7. 现在，您可以使用 Colab 中的数据集进行数据分析、训练模型等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值