notebook@部分常见的在线notebook(提供免费GPU算力)@sageMaker studio lab@Google colab

已于 2023-04-06 19:18:32 修改
阅读量1.6k 收藏 1
点赞数 1
文章标签： python 深度学习
于 2023-03-22 14:23:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuchaoxin1375/article/details/129708637
版权

文章目录

notebook@部分常见的在线notebook(提供免费GPU算力)@sageMaker studio lab@Google colab

google colaboratory

Kaggle notebook

AWS SageMaker Studio Lab🎈

  • 适用于机器学习的免费开发环境 - JupyterLab - Amazon Web Services

    • Amazon SageMaker Studio Lab 是一个免费的机器学习（ML）开发环境，它免费提供计算、存储（高达 15GB）和安全性，供任何人学习和试验 ML。
    • 您只需一个有效的电子邮件地址即可开始使用，无需配置基础设施或管理身份和访问权限，甚至无需注册 AWS 账户。
    • SageMaker Studio Lab 通过 GitHub 集成加速模型构建，它预配置了最流行的 ML 工具、框架和库，可让您立即开始使用。
    • SageMaker Studio Lab 会自动保存您的工作，因此您无需在会话之间重新启动。就像合上笔记本电脑然后再回来一样简单。

  • Amazon SageMaker Studio Lab - Amazon SageMaker

  • 和Amazon账号有所区别,目前账号是要经过申请和多次回复确认才可以拿到账号(但整个注册过程是免费的)

    • 本人注册用了2天左右时间,4~5封互动email
    • 注意,该项目目前国内可以直接访问,不建议使用代理(反而容易被限制访问!🎈)

  • SageMaker是亚马逊公司（Amazon）的一项机器学习（Machine Learning）服务，它基于云计算平台AWS（Amazon Web Services）提供了一整套的机器学习工具和框架，可以帮助开发者快速构建、训练和部署机器学习模型。SageMaker的名称中，“Sage”代表智慧和洞察力，“Maker”代表制造者或创建者，意味着SageMaker的目标是帮助开发者快速构建智能应用程序。

运行问题🎈

  • 在sagemaker studio lab中,不是任意时刻都可以运行的(只有当左下角显示Fully initialized时,notebook才可以运行)

  • 在这里插入图片描述

  • 如果无法从waitting状态恢复,那么可以考虑回到sagemaker stuido lab的控制台,重启实例(stop running time+start)

SageMaker studio vs SageMaker studio Lab🎈

  • 您因该注意区别两个工作是的区别

  • Amazon SageMaker Studio和Amazon SageMaker Notebooks（之前称为SageMaker Lab）都是AWS SageMaker的一部分，是用于构建、训练和部署机器学习模型的完整平台。

    SageMaker Studio是一个全面的集成开发环境（IDE），为数据科学家和机器学习工程师提供了一个统一的界面，可以使用多种编程语言（如Python、R、Scala）来构建和部署机器学习模型。它提供了一个基于浏览器的可视化界面，使用户可以轻松地管理数据集、训练模型、部署模型和监控模型性能等。

    SageMaker Notebooks（SageMaker studio Lab）是一个基于Jupyter Notebook的交互式开发环境，使用户可以使用Python、R和Scala等编程语言构建和部署机器学习模型。它提供了一个类似于传统Jupyter Notebook的界面，用户可以创建、编辑和运行Notebook，以交互方式探索数据、开发和测试模型，并将它们部署到SageMaker中。

    总的来说，SageMaker Studio提供了一个更全面、更高级的开发环境，适用于需要更全面的功能和更高级的操作的用户，而SageMaker Notebooks则提供了一个更简单、更轻量级的开发环境，适用于需要快速开始构建模型的用户。

使用环境和UI
导入项目@从github导入

默认环境

选择notebook kernel
  • 如果您的项目没有conda环境配置文件,那么建议你打开终端,用conda创建一个环境(比如名为tf)
    • 为了能够运行notebook,您至少需要在环境中安装python和notebook(可以自行指定版本,否则自动安装最新版)
    • conda install python
    • conda install notebook
  • 到此位置,您可以选择刚才安装的环境中的notebook kernel(包括默认环境中的kernel)
  • 然后,您可以根据项目的requirements.txt,安装要求的依赖

demo

  • 在这里插入图片描述

  • 上图中的根目录中已经包含4个目录

    • 包括著名的d2l项目
    • 一个语音情感识别项目
    • sagemaker提供的示例项目

  • 例如,在sageMaker中Clone github项目

    • 可以看到网速是不错的

    • (studiolab) studio-lab-user@default:~$ git clone https://github.com/x4nth055/emotion-recognition-using-speech && exit
Cloning into 'emotion-recognition-using-speech'...
remote: Enumerating objects: 7682, done.
remote: Counting objects: 100% (266/266), done.
remote: Compressing objects: 100% (102/102), done.
Receiving objects:  53% (4072/7682), 510.11 MiB | 25.23 MiB/s

其他选择

  • 中国用户可以访问Google Colab，但是由于网络限制可能会有不稳定的情况。此外，由于Colab的服务器在国外，因此使用Colab可能会受到较高的延迟和网络问题的影响。

    如果您想寻找其他代替品，有一些选择可以考虑：

国内产品

  1. Tencent Cloud AI Studio：腾讯云AI Studio是一个基于云的机器学习和深度学习平台，
    1. 提供了类似于Colab和Kaggle Kernels的Notebook环境。
    2. 由于它是在国内的服务器上运行的，因此在中国的访问速度应该更快。
  2. DeepNote：DeepNote是一个新的Notebook环境，类似于Colab和Kaggle Kernels。
  3. 百度AI studio:主要在上面运行paddlepaddle
大数据AI人工智能与 GPU、TPU 超级算力融合引领人类智能时代技术革命原理与应用实践
AI天才研究院
09-01 1901
在21世纪的第三个十年,我们正站在人类智能时代的门槛上。这个新时代的到来,得益于大数据、人工智能(AI)以及GPU(图形处理器)和TPU(张量处理器)等超级算力的融合与发展。这些技术的结合不仅推动了科技的进步,更是引领着一场深刻的技术革命,正在重塑我们的社会、经济和生活方式。大数据为AI提供了海量的训练素材,使得机器学习模型能够从中提取出有价值的模式和知识。而AI算法的不断优化和创新,则让我们能够更有效地利用这些数据,实现更智能、更精准的决策和预测。
在线分享notebook笔记的两种方法
wuyanne的博客
10-18 2771
在线分享jupyter notebook笔记方法1-使用GitHub存储库方法2-使用nbviewer 方法1-使用GitHub存储库 https://github.com/ 可以选择一个现有的存储库或者新建一个，本次新建一个存储库，点击New 这两个地方是必填的 然后到了这个界面 将文件拖到这个位置 上传完成 点开文件，复制地址栏里的地址到别的地方，别人就可以直接打开这个文件查看jupyter notebook在线阅读了 例如我这个： https://github.com/coffee-ne
在线的 Jupyter Notebook 云环境以及深度学习环境搭建
专注的力量
01-29 3122
为什么使用在线进行深度学习？ 我觉得有以下几个好处 1，性能不受电脑限制 无论是win mac or linux只要支持浏览器就能进行开发 2，快速使用 一次部署 以后找个电脑打开浏览器就能用 3，易于扩展 无论从开始的免费主机到多机 多卡训练 集群训练都可以快速实现 jupyter 官方http://jupyter.org/ 百度Ai Studiohttps://...
【notebook】常用在线notebook总结
TomRen
02-23 3605
各种在线的jupyter Notebook和其他好用的交互式编程环境
探索Google Colab Notebooks：云端数据分析与机器学习项目
weixin_42527589的博客
03-15 662
在当今技术驱动的行业中，数据科学和机器学习已成为不可或缺的一部分。为了支持这些领域中复杂任务的执行，Google推出了，一种基于云的服务，为数据分析师、机器学习工程师以及所有对共享和协作感兴趣的人提供了一个创新的平台。
大神带你实现 NLP 从入门到获奖，还有免费算力可以薅！
dadataka的博客
11-26 319
上次写了一篇如何利用百度AI Studio免费GPU资源来研究各种深度学习算法的文章，但有读者反馈说还不够深入，希望每个研究方向都出一个详细的介绍，了解更多并用学到的知识去实战。这篇文章以NLP为主题，通过公开课、项目热榜、应用实践和比赛资讯四个方面带读者实现NLP从入门到获奖。 百度AI Studio有专门的NLP专题网站： https://aistudio.baidu.com/...
Google推出Notebook在线笔记服务
移动开发与培训
06-08 631
Google Notebook: 网络笔记的好帮手网址: http://www.google.com/notebook/1. 剪贴有用信息(比如文本, 图片和链接).2. 组织笔记. (可分类, 归类)3. 随处可用. (只需一台连网的计算机和一个google帐户).4. 发布笔记. (提供一个公开的固定网址, 例如: 赵珂的在线google笔记网址). 欢迎任何问题和建议. Goo
ApacheCN×Tesra 免费算力申请活动
热门推荐
龙哥盟
09-06 3万+
Tesra 超算网络是由 SAIC 基金会发起的，专为人工智能产业提供底层技术及 AI 资源共享服务的分布式"超算中心"。Tesra 超算网络基于 GPU 并行计算技术，通过整合全球分散的 GPU 算力资源，在建设人工智能基础设施的同时，为全球 AI 开发者提供共享算力、分布式数据存储、AI 应用开发平台等生态服务。未来，Tesra 超算网络将链接全球 AI 开发者社区，共同构建人工智能超级大...
SageMaker Studio Lab: 打造AI/ML学习环境的利器
Nifc666的博客
09-04 1337
Amazon SageMaker Studio Lab是Amazon Web Services (AWS)推出的一款免费的云端AI/ML学习平台,旨在为个人数据科学家和机器学习爱好者提供便捷的学习和开发环境。无论您是AI/ML领域的初学者还是有经验的从业者,Studio Lab都能为您提供丰富的学习资源和强大的开发工具,助您在AI/ML的职业道路上更进一步。编程语言环境:如R语言、Julia等特定框架环境:如AutoGluon、fast.ai、SciPy等。
使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程
TW的博客
08-30 9986
谷歌的colab(Colaboratory)是谷歌为全世界学术研究者免费提供GPU算力的项目，目前能够提供的显卡包括K80、Tesla T4、Tesla P100 PCIE-16GB等用于深度学习加速训练的专业级显卡，可以免费使用12h，12h后自动断开服务器连接，也可以付费成为Clab Pro用户，每月9.99刀，折合下来只要七八十元，使用时间相对免费版宽裕一些，但是连接的时间长了还是会被限额，以下是我使用Colab的一个简单教程，从头开始。结合谷歌网盘的无限容量可以实时将训练好的模型保存到谷歌网盘，避免
jupyternotebook租用gpu
01-08
- **AWS SageMaker Studio Lab**：亚马逊推出的SageMaker Studio Lab为用户提供了一个无需信用卡即可试用的强大IDE，内置了对TensorFlow, PyTorch等多种框架的支持以及按需分配的GPU资源[^3]。 - **Microsoft Azure...
Jupyter Notebook：数据分析的利器
- Google Colab：为Google云端笔记环境，提供免费的云端Jupyter Notebook服务，支持GPU加速。 - Visual Studio Code：虽然主要是一个代码编辑器，但通过安装Python扩展和Jupyter扩展，VS Code也可以提供类似...
Colab-notebook
03-18
合作记事本 bankrupcy.ipynb：预测破产（分类） AUSrain.ipynb：预测降雨（分类） spotify_json.ipynb：群集Spotify歌曲（集群，json文件） sklearn_ML_1.ipynb：交叉验证，预处理，降维，线性回归 sklearn_ML_2.ipynb：交叉验证，逻辑回归，聚类，特征选择，参数优化 sklearn_ML_3.ipynb：SVM，树
为什么要使用Jupyter Notebook，有哪些特别的优势？
最新发布
03-31
- Google Colab：免费GPU加速 - Kaggle Kernels：数据竞赛标准环境 3. **协作支持** - JupyterHub：多用户服务器 - Git版本控制：跟踪.ipynb文件变更 --- ### 五、对比传统开发工具 | 特性 | Jupyter ...
3 个可以薅羊毛的在线 Jupyter Notebook环境
deephub
08-10 7992
Jupyter Notebook 是许多数据科学家的主要环境，尤其是那些使用 Python 作为主要编程语言的人。 IDE 非常适合探索数据和开发机器学习模型。 但是，有时本地的 Jupyter Notebook 无法满足计算资源的要求——这就是我们需要寻找其他替代方案的原因。 Deepnote Deepnote 是一款浏览器Jupyter Notebook，用于与团队协作工作。 Deepnote 适合单人工作，因为 Notebook 功能齐全； 然而，它是为了实时工作集成而开发的。 我们来看看整个 Not
【深度学习】使用kaggle提供的免费GPU在线训练模型
冷芝士鸭的学习笔记
05-08 7616
背景 自己电脑没有GPU，只能找找网上的平台来跑模型，但是又买不起服务器，只能使用免费的平台这样子 免费的在线平台 各大计算平台免费GPU资源总结 本文要介绍的就是第三个，虽然是国外的，但是不用翻墙就可以访问，每周免费30小时使用时长 显卡信息如下： 关于使用GPU加速的问题： Kaggle上使用GPU 补充： 有的人可能在登陆帐号以后发现没有加速器选项 这是因为没有绑定手机号，绑定手机号后就可以使用了 关于关闭网页代码会不会继续运行的问题 Kaggle：不怕断开连接，睡觉起来看结果 简单来说就
使用SageMaker Studio Lab做《动手学深度学习》
qq_45282318的博客
09-23 2657
使用SageMaker Studio Lab做《动手学深度学习》
免费算力分享
shall_zhao的博客
02-18 452
免费算力分享
​推荐一个免费AI算力平台：OpenI​
风沙无痕的博客
08-22 3327
推荐非商业的​免费AI算力平台：OpenI，支持GPU、NPU算力，及Mindspore、Paddle、Pytorch、Tensorflow各大框架。 ​
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cxxu1375

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值