使用colab运行github上的ipynb文件

最新推荐文章于 2024-04-27 20:47:51 发布
最新推荐文章于 2024-04-27 20:47:51 发布
阅读量3.7k 收藏 23
点赞数 6
分类专栏： Colab 文章标签： pytorch 深度学习 人工智能 github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c7972139/article/details/126201460
版权

目录

1、Windows下安装PyTorch跑深度学习

方法一

方法二

2、在colab下跑深度学习 

什么是colab？

一般使用方法

3、使用colab运行github上的ipynb文

1、Windows下安装PyTorch跑深度学习

入门深度学习，选择了沐神的《动手学深度学习》，b站上有，这里不多说。

刚入门就被安装环境难住（在这里我分析了下，主要还是资本不够，没有好的GPU，一般GPU都是1080起步，我使用的电脑虽然有GPU，但是这GPU完全不能用来跑深度学习，而我为啥还要安装了，当然还是想试一下，跑一个简单的网络能行不）

在Windows下安装CUDA和PyTorch

我主要使用了两种方法，但是第一种方法安装失败了

方法一

这个方法是跟着沐神在b站视频Windows下安装CUDA和PyTorch跑深度学习

遇到的问题是在安装CUDA时，安装失败，然后我又试了几遍还是不行，我就放弃了，去了B站找帮助，果然被我找到了，于是有了方法二

方法二

我想说这个博主讲的太仔细了，分为CPU版和GPU版安装PyTorch，我们是为了跑深度学习当然是要安装GPU版的

最详细的 Windows下PyTorch 入门深度学习环境安装与配置博主名叫我是土堆

他分了31个视频来详细介绍，但并不需要全部看完，中间有python环境Anaconda以及PyCharm安装，我认为都入门深度学习了，这些肯定是必备的了，所以主要看下面这几个（当然这是我的个人看法）

1如何使用此教程&教程大纲

9聊聊 显卡GPU与CUDA

11判断是否有NVIDIA（英伟达）GPU

23GPU版本-GPU与CUDA准备工作

24GPU版本-conda的通道与镜像地址

25GPU版本-判断CUDA Runtime版本

26GPU版本-安装PyTorch（方法1）

27GPU版本-安装PyTorch（方法2）

28GPU版本-验证PyTorch

29GPU版本-PyCharm的安装与配置（主要是后面的配置）

就这样我成功的安装好了

我迫不及待的去尝试了一下，我用一个简单的残差网络来尝试的，模型是从沐神《动手学深度学习》配套的电子教案

可以看出安装环境是成功了的，但由于我的GPU太差了，运行速度实在太慢了，整个网络运行完成一共花了接近两个小时。

所以我就想到了云服务器，还是由于资金问题，查找了很多资料，选择了colab

2、在colab下跑深度学习 

什么是colab？

全称Colaboratory（简称Colab），它可以像jupyter notebook一样，在浏览器中编写和执行Python代码，并且：无需任何配置，免费使用GPU，轻松共享。

（注意：colab需要有谷歌账号，so需要科学上网，也可以使用插件，例如iGG谷歌学术助手）

下图是Colab界面

一般使用方法

  • 新建笔记本（这个笔记本的文件类型是.ipynb）

新建步骤        

新建好的笔记本如下

 

  •  操作笔记本

 笔记本其实就如在jupyter notebook中新建一个python文件

更改笔记本名称，如下图

 其他操作和jupyter 一样

  • 为笔记本配置资源（重点）

在页面的右上角有一个连接，点击下拉选项，选择查看资源

资源下面有更改运行时类型，点击它 

可以设置笔记本，硬件加速器选择GPU，再保存就可以，回到刚才的连接，点击连接，就会进行资源配置

 

资源配置好的就会如下图，就可以直接运行代码了

3、使用colab运行github上的ipynb文

 这部分其实只需要一个简单的谷歌浏览器插件，可以在扩展程序中搜索就能找到，就是下面的插件

有了这个插件，可以把它固定在浏览器上

我们打开一个github上的ipyjb文件，直接点击open in Colab就可以

注意此时并没有连接资源

需要进行资源配置，上面我有讲述过怎么操作，同样进行操作就可以

不得不说，这比我自己电脑跑快了很多很多，同样的残差网络在Colab上我只用了不到7分钟，我觉得这对于穷学生来说实在太友好了

Colab会要求人机验证，这个验证一下就没事，可以继续使用

 

 

 

 

one人参
关注
  • 6
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Open in Colab:从GitHub和Gist在Colab中打开笔记本-开源
04-25
附加组件，在Gist和GitHub的IPython Notebook的标头中添加了“在Colab中打开”按钮，从Gist和GitHub的Colab在Julab中打开Jupyter Notebook，使用此浏览器WebExtension添加了按钮“在Colab中打开”
colabcat:使用会话备份和还原在Google Colab上运行Hashcat
03-18
用法转到下面的链接以在Google Colab中打开colabcat.ipynb文件的副本： ://colab.research.google.com/github/someshkar/colabcat/blob/master/colabcat.ipynb单击“ Runtime ， Change runtime type ，然后将“ ...
在colab中编辑云端硬盘的ipynb文件
aspeipei的博客
04-18 1535
在云端硬盘中右击要编辑的文件，打开方式选择colab即可 若右击有没有看到Google Colabrotory选项，可以“关键更多应用”，将Colabrotory添加进去
如何在colab上运行github项目
最新发布
qq_46670313的博客
04-27 797
由于最近在尝试跑深度学习的一些代码，在本地环境跑不了，故决定将环境部署到云端，colab上刚好有免费的gpu可以白嫖，所以就有了这篇博客记录。。。
如何在colab 运行github文件
qq_53536373的博客
04-03 1926
1输入网址 https://colab.research.google.com/github 2复制网址 3找到对应分支 4点击运行
计算机视觉实战----AlexNet网络及使用colab跑YoloV5代码
rick的博客
01-03 1534
Colaboratory 简称“Colab”，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上说，Colab 是一种托管式 Jupyter 笔记本服务。用户无需进行设置，就可以直接使用，同时还能获得 GPU 等计算资源的免费使用权限。Google Colab免费GPU 超详细使用教程需要准备的东西ibcn和谷歌账号colab加载谷歌driver。
在Github上直接加载ipynb文件
qq_17457331的博客
03-04 4758
在Github上虽然能够直接加载ipynb文件，但是速度很慢，并且容易加载失败。 利用https://nbviewer.jupyter.org/ 可以快速加载ipynb文件 如何使用： 一个要打开的ipynb文件， 例如 https://github.com/jiemojiemo/deep-learning/blob/master/embeddings/Skip-Grams-Solution.i...
tensorflow-arduino-examples:TensorFlow Lite Micro示例在Google和Antmicro之间的协作中构建，可在Google Colab中运行并与Renode CI测试一起运行
04-08
回购结构.github/workflows -GH操作文件generate_ipynb_files.yml从py源生成ipynb文件test_examples.yml构建和测试示例examples -特定TensorFlow Lite示例的脚本，测试和colab文件hello-world -Arduino Nano 33 BLE ...
颜色分类leetcode-Text_ML_Classification_UMN:可以使用机器学习对文本文件进行分类和可视化的JupyterNo
07-06
颜色分类leetcode 机器学习文本分类笔记本 (MLTCN) 创建 MLTCN ...Notebook）上运行。 如何使用 MLTCN Colab： 设置： 将 MLTCN 存储库分叉到您自己的 Github 帐户或将存储库保存在您的 Google Dri
hakai-profile-qaqc：基于QARTOD测试和其他Hakai特定测试而应用于Hakai CTD配置文件数据的一系列测试
02-24
也可以通过在线Jupyter笔记本自行运行不同的测试： ://colab.research.google.com/github/HakaiInstitute/hakai-profile-qaqc/blob/main/review-hakai-tests.ipynb 要为Hakai研究数据集生成源文件数据，可以在以下...
Computer-Vision-Applications:现实应用程序概述以及涉及计算机视觉和深度学习的各种项目！
04-01
（这将花费大量时间来加载） 加载后，您可以下载文件以保存更改您也可以在此存储库中下载.ipynb文件，并在将其上传到Google Colab中或者，如果要在本地计算机上运行.ipynb文件，则可以通过运行pip install notebook...
Github Colabify-crx插件
04-02
语言:English (United States) 在github ipython页面上添加colab按钮 如果github托管的ipython Notebook页面已打开，它将自动添加Open In Colab按钮，如图所示。 单击“在Colab中打开”按钮后，ipython Notebook将在colab中打开。
【Google Colab】写代码（Python）有个浏览器就够了
满堂花醉三千客，一剑霜寒十四州
11-11 3301
Colaboratory 简称“Colab”，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。
google colab更改python版本
qq_52036207的博客
08-09 536
上查找对应的python版本，上诉代码是3.9版本。
如何解决在github上查看ipynb（大文件）笔记时加载很慢以及失败的问题？（学习IT的人必会知识：nbviewer）
算法探索之路
11-28 2073
文章目录github看笔记的好处如何解决加载慢的问题 github看笔记的好处 markdown和code能一起使用真是非常方便，在本地使用jupyter notebook书写笔记，然后上传到github上，不仅自己复习的时候方便查阅，还能帮到其他有需要的人。在github上查看ipynb文件以及大文件时，需要加载很长时间，而且经常加载失败。使用起来很不方便而且让人头疼、浪费时间。比如我查看优达...
如何将github上的文件导入colab
Zheng113的博客
03-11 977
将github上的文件直接在colab打开
在GitHub中上传ipynb文件, 并通过网址访问
weixin_52185313的博客
10-13 1274
项目场景： 将ipynb文件作为教学案例上传到服务器 问题描述： 在GitHub中上传ipynb文件, 并通过网址访问 解决方案： 先将ipynb文件upload到自己的github仓库, 我的就是https://github.com/pd3nbplus/pd_MachineLearning 上传好了之后点进ipynb文件地址是这样的：https://github.com/pd3nbplus/pd_MachineLearning/blob/main/Rossmann_Store_Sales_com
Colab运行ipynb
qq_39324954的博客
06-24 900
【Colab】如何在google colab运行github中的ipynb文件
menghaocheng的专栏
10-24 7741
1.打开https://colab.research.google.com/github/ 2.在红框处填入你ipython文件地址，如：https://github.com/lmoroney/dlaicourse/blob/master/Course%201%20-%20Part%202%20-%20Lesson%202%20-%20Notebook.ipynb 然后点击搜索： ...
google colab如何读取文件
06-28
### 回答1： Google Colab可以通过以下方式读取文件： 1. 从Google Drive中读取文件：可以将文件上传到Google Drive中，然后在Colab中使用以下代码读取文件： ``` from google.colab import drive drive.mount('/content/drive') # 读取文件 with open('/content/drive/My Drive/example.txt', 'r') as f: print(f.read()) ``` 2. 从本地上传文件：可以使用以下代码上传文件到Colab中： ``` from google.colab import files uploaded = files.upload() # 读取文件 with open('example.txt', 'r') as f: print(f.read()) ``` 注意：上传的文件只能在当前会话中使用，关闭Colab后会被删除。如果需要长期保存文件，建议使用Google Drive。 ### 回答2： Google Colab是一种基于云端运行的工具，可以轻松地进行数据处理，算法实验等。读取文件是其中一个很重要的功能，它可以使用户获取想要的数据并进行后续的处理。下面将简单介绍Google Colab如何读取文件。 1.上传文件 如果用户想要读取本地文件，可以在Colab的左侧面板中选择文件选项卡，然后点击上传按钮使用上传功能上传数据文件。上传完成后，在左侧面板的文件选项卡下选择对应的文件夹，就可以看到已上传的文件。 2.切换至挂载硬盘 如果用户需要读取大量的数据，不希望每次都上传文件，可以考虑将文件挂载到Colab的虚拟机中，这样就可以通过代码读取文件。挂载硬盘的方法如下： （1）执行以下代码块，然后在其中输入授权码，这里演示的是谷歌云端硬盘的操作， ``` from google.colab import drive drive.mount('/content/drive') ``` （2）在弹出的窗口中选择自己的谷歌云端硬盘账户并获取授权码。 （3）授权成功后，在左侧面板的文件选项卡中，可以看到/content/drive下的文件。 3.读取文件 一旦文件上传完成或硬盘挂载完成，就可以使用Python的内置方法读取文件。例如，读取csv文件可以使用以下代码实现。 ``` import pandas as pd data = pd.read_csv('/path/to/your/file.csv') ``` 其中，/path/to/your/file.csv是用户上传的文件的路径。 总之，Google Colab读取文件的方法非常简单，只需要按照以上步骤操作即可。如果用户需要快速读取大量数据，推荐使用挂载硬盘进行操作。 ### 回答3： Google Colab是一种允许用户在云端运行基于Python的程序的工具。在Colab中，用户可以轻松读取各种文件，包括本地计算机上的文件、Google Drive上的文件以及在线数据集。 读取本地文件 如果您想在Colab中读取本地计算机上的文件，可以使用以下代码： ``` #上传本地文件 from google.colab import files uploaded = files.upload() #读取本地文件 import pandas as pd df = pd.read_csv('example.csv') print(df) ``` 这将使用Colab提供的“文件上传”功能将文件上传到Colab笔记本中。然后，使用Pandas库中的`read_csv()`函数读取文件。 读取Google Drive上的文件 如果您的文件存储在Google Drive上，可以使用以下代码来读取文件： ``` #连接到Google Drive帐户 from google.colab import drive drive.mount('/content/drive') #读取文件内容 import pandas as pd df = pd.read_csv('drive/My Drive/example.csv') print(df) ``` 这将使用Colab提供的`drive.mount()`函数连接到您的Google Drive帐户。您可以在`drive/My Drive/`路径下找到您的文件。然后，使用Pandas库中的`read_csv()`函数读取文件。 读取在线数据集 Colab还提供了许多在线数据集，您可以使用以下代码读取其中一个数据集： ``` #导入所需的库 import pandas as pd import io import requests #读取在线数据集 url="https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data" s=requests.get(url).content df=pd.read_csv(io.StringIO(s.decode('utf-8')), header=None) print(df.head()) ``` 在本例中，我们使用`requests`库下载数据集，然后使用`StringIO`将其转换为字符流，最后使用Pandas的`read_csv()`函数读取数据集。 总之，Google Colab非常方便地允许用户读取各种文件，无论是本地文件、Google Drive上的文件还是在线数据集。关键是了解适当的函数和路径来读取您的文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值