Day 02 - 选择具有GPU的EC2并完成配置

最新推荐文章于 2025-02-27 14:15:03 发布
最新推荐文章于 2025-02-27 14:15:03 发布
阅读量1.2k 收藏
点赞数
分类专栏： AWS EC2 YOLO 文章标签： aws ec2 gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50614038/article/details/120980070
版权

Day 02 - 选择具有GPU的EC2并完成配置

需要配置一台电脑来处理接下来所有的服务，因为这是深度学习的应用，所以需要使用到GPU，而GPU的配置十分繁琐，而透过AWS EC2来配置的话，只要选择好对应的个体类型与AMI（Amazon Machine Image），可以很快的完成主机的配置。关于EC2的详细操作，可参考先前的 Amazon Elastic Compute Cloud (EC2) 笔记)，在这里只简单的把画面撷取下来。

首先要确认随选的个体（instance）是否有足够的数量可供使用，因为通常一些比较特别的个体类型，预设未必会提供，需要向 Support Center 发出请求案例（case），才可以得到可配置的数量，下图为新加坡地区 EC2 控制台的操作画面，点击左边功能导航条的限制，就会在右手边出现所有AWS的限制，输入instance进行过滤，就可以得到所有个体的相关限制，我们可以看到随需G instance的限制为768 vCPU。

在这里插入图片描述

图1、检视EC2中个体的限制

接下来就可以开始配置一台拥有GPU的EC2，点击左边功能导航条的实例，接着在主画面中点击启动实例，进入Step 1: Choose an Amazon Machine Image（AMI），在搜索文字方块中输入deep learning，进行过滤。会出现很多符合这个关键字的AMI，拉到画面最下方点击143 results in AWS Marketplace如下图所示，因为客制化的AMI很多是要另外收费的，也就是你用 AMI 要收费，运行 AMI 的个体也要收费，使用AWS自己设计的AMI通常是不收费的，不过，重点是透过这个步骤可以看到这个 AMI 的详细介绍。

在这里插入图片描述图2、检视在AWS市场中符合deep learning的AMI

在下图中可以看到这个AMI所安装的操作系统－Amazon Linux 2，已经安装的深度学习套件－TensorFlow，MXNet，PyTorch，and tools like TensorBoard，TensorFlow Serving，and Multi Model Server.跟相关的gpu套件－NVIDIA CUDA，cuDNN，and Intel MKL-DNN。点击最下方的AWS Deep Learning AMI (Amazon Linux 2) product detail page on AWS Marketplace可以看到整个 AMI 的详细介绍以及如何在这个 AMI 下进行操作。

在这里插入图片描述
图3、检视在AWS Deep Learning AMI的属性

下图为 AWS Deep Learning AMI (Amazon Linux 2) 这个镜像的定价画面，通常镜像供应商（Vendor）会提出一个建议的个体，以这个镜像而言，它推荐的是p3.2xlarge这个个体类型，但在新加坡地区的定价是每小时4.234美元，在考察成本的情况下，选择g4dn.2xlarge，每小时1.052美元。

  • Region: Asia Pacific (Singapore)
  • Fulfillment Option: 64-bit (x86) Amazon Machine Image (AMI)
  • Software Pricing Details: AWS Deep Learning AMI (Amazon Linux 2) $0 /hr
  • Infrastructure Pricing Details: Estimated Infrastructure Cost $1.052 EC2/hr

在这里插入图片描述
图4、计算符合需求的最佳的定价

g4dn 实例旨在协助加速机器学习推论和图形密集型工作负载，具有以下特色：

  • 第二代Intel Xeon Scalable（Cascade Lake）处理器
  • NVIDIA T4 Tensor Core GPUs
  • 高达100 Gbps网络输送量
  • 多达1.8 TB本机NVMe储存

而g4dn.2xlarge这个个体的规格是1 GPU，8 vCPU，32（GB）內存，16（GB）GPU內存，225实例储存体（GB）。

接下来的配置如下：

  • Choose AMI: AWS Deep Learning AMI (Amazon Linux 2) version:49 (64-bit x86)

  • Choose Instance Type: g4dn.2xlarge

  • Configure Instance:

    • Network : vpc-0cxxxx | Default VPC (default) (可以自己指定)
    • Subnet : No preference (default subnet in any Availability Zone) (可以自己指定)
    • Auto-assign Public IP : Enable

  • Add Storage: 200G 因为预设已经安装很多套件，所以建议改为200G比较够用。

  • Add Tags: 可加可不加，通常是用在 Cloud watch 观察比较方便，我们先不加。

  • Configure Security Group: 为提供安全保障，限制进来的联机，因为我们是建置Web服务器，所以打开端口号22与80。

    • Assign a security group: Create a new security group
    • Security group name: ithome2021_web_SG
    • Description: ITHOME Web server Security Group
    • Type: SSH，HTTP
    • Source: Anywhere，Anywhere

  • Review: 看一下前述的所有设定，确定无误后就直接按下Launch

  • Key pair 设定： 因为安全考察，AWS要求使用者务必要用密钥对（key pair）的方式来进行联机，因此在启动 EC2 前会要求建立或选择密钥对，下载下来的密钥对钥一定要好好保存，遗失后是没办法再重新下载的。

在这里插入图片描述
图5、AWS EC2配置检视

參考資料

  • Recommended GPU Instances, https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html
  • NVIDIA Deep Learning AMI, https://aws.amazon.com/marketplace/pp/prodview-e7zxdqduz4cbs?ref=cns_srchrow
  • 现已推出 8211 配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4), https://aws.amazon.com/cn/blogs/china/now-available-ec2-instances-g4-with-nvidia-t4-tensor-core-gpus/?nc1=b_nrp
AWS EC2 容量块使用指南：预留高性能GPU实例的完整攻略
TechEnthusiast的博客
03-29 234
EC2容量块是AWS提供的一种预留特定类型GPU实例的机制，允许用户在未来1天到182天的时间范围内预留计算资源。这项服务特别适合需要进行大规模机器学习训练、高性能计算或其他GPU密集型工作负载的用户。
aws搭建深度学习gpu_选择合适的GPU进行AWS深度学习
weixin_26632369的博客
07-19 2543
aws搭建深度学习gpuA decade ago, if you wanted access to a GPU to accelerate your data processing or scientific simulation code, you’d either have to get hold of a PC gamer or contact your friendly neighborh...
AWS EC2 GPU 实例简介及费用对比
liuqianglong_liu的博客
08-28 2893
us-east-2按需实例费用折算成人民币为。[3] Amazon 宁夏区域EC2按需实例价格：https://www.amazonaws.cn/ec2/pricing/ec2-linux-pricing/[4] NVIDIA A10G 显卡：https://www.nvidia.com/en-us/data-center/products/a10-gpu/[2] Amazon 俄亥俄州EC2按需实例价格：https://aws.amazon.com/cn/ec2/pricing/on-demand/
AWS中国区EC2 G2实例实测(Caffe+CUDA7+cuDNN)
卡里里穆罕默德沐寒墨的博客
05-22 4252
上一贴说了如何配置aws中国区和启动实例。现在就是这么用这些实例去进行数据测试看一下结果了。 第一，在Ec上的服务器是虚拟的，就是说，和我们普通的单机或者普通服务器配置起来不一样。普通电脑几条命令就ok了。AWS上需要多搞一些步骤 配置过程： 官方wiki贴：链接点我 这个wiki写的很好了，确实管用。 很关键一点，aws中国区的实例，一定要换源！！！不然速度慢到跪！！！
基于亚马逊云科技Amazon EC2云服务器的G4实例可提供极具成本效益的GPU并支持实时光追技术
2301_76768294的博客
10-07 658
随着Android应用程序和游戏变得越来越丰富，其中有些甚至比PC上的软件更易于使用和娱乐，因此许多人希望能够在云上运行Android游戏或应用程序，而在Amazon EC2实例上运行Android的解决方案可以让开发人员更轻松地测试和运行Android应用程序。借助NICE DCV，可以将运行在Anbox上的Android应用程序流式传输到客户端计算机，从而消除对昂贵的专用工作站的需求。最后应注意的是，Anbox仍处于开发阶段，并非所有Android应用程序都能在Anbox上正常运行。
AWS — AWS EC2
烟云的计算
10-05 3124
目录 文章目录目录EC2ENA（Elastic Network Adapter） EC2 在 AWS Regions 中，EC2 提供了安全、可调整大小的计算能力。 AWS 提供了许多用于优化 EC2 实例的工具，例如： AWS Trusted Advisor AWS Cost Explorer AWS Compute Optimizer 这些工具可帮助 CSP（电信运营商）和 NFV 提供商选择最佳 EC2 实例类型以节省成本。 ENA（Elastic Network Adapter） ENA（Ela
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 10
段智华的博客
10-12 514
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 10 目录 Step 10: Creating a training model directoryContext and completion examples星空智能对话机器人系列博客 Step 10: Creating a training model directory 本节将为我们的模型创建一个临时目录，存储我们需要的信息，并将其重命名以
WordPress essential-addons-for-elementor xss漏洞（0day首发）（CVE-2025-24752）
最新发布
iSee857的博客
02-27 460
Elementor 插件的 Essential Addons 遭受反射型跨站点脚本 （XSS） 漏洞。该漏洞是由于 popup-selector 查询参数的验证和清理不充分而发生的，从而允许将恶意值反映回用户。(CVE-2025-24752）
动手学深度学习实现DAY-3
weixin_40054643的博客
02-25 4095
节选自“ElitesAI·动手学深度学习PyTorch版”. （Task06：批量归一化和残差网络；凸优化；梯度下降（1天）） Task09：目标检测基础；图像风格迁移；图像分类案例1（1天） Task10：图像分类案例2；GAN；DCGAN（1天） 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1...
DL之LeNet-5：LeNet-5算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-06 1万+
DL之LeNet-5：LeNet-5算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略 目录 LeNet-5算法的简介(论文介绍) LeNet-5算法的架构详解 1、LeNet-5 结构分析 2、各层详细说明 3、以手写数字3为例详细理解LeNet-5算法过程 4、LeNet-5为例可视化 5、LeNet-5算法的设计思路 LeNet-5算法的案例应...
深度学习 Day24——J3-1DenseNet算法实战与解析
LittleRuby的博客
01-05 1110
关键字： pytorch实现DenseNet算法，nn.Sequential和nn.Module区别与选择，python中OrderedDict的使用
AWS EC2 必知必会小技巧 | 机型特点解析和选型技巧分享
beary_tang的博客
01-11 1441
如何高效选择和使用 EC2 必须根据用户的具体场景因地制宜，具体问题具体分析，是一件持续迭代优化的工作。总而言之，充分运用云的弹性和了解不同 EC2 机型的关键参数，是我们每一个 AWS 用户必须掌握的技巧。
基于GTID的 mysql 主从故障切换
qq_49296785的博客
11-10 745
mysql 从 5.6.5 后新增了一种基于 GTID 的复制方式 环境 2台 CentOS Linux release 7.5.1804 (Core) master 端 192.168.153.177 slave 端 192.168.153.177 关闭防火墙和selinux 部署： 安装 mysql5.6.5 及以上版本 yum -y install wget wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-1.
亚马逊 安装mysql_如何在Amazon Web Services上安装WordPress
09-04 309
亚马逊 安装mysqlRecently one of our readers asked us to cover how to install WordPress on Amazon Web Services (AWS). Often reserved for larger projects, Amazon Web Services is a powerful cloud computing pl...
GPU云服务器
HaoHao_010的博客
12-03 1134
GPU云服务器适合那些需要高并发、高计算能力和低延迟的应用，特别是在人工智能、深度学习、图形渲染、视频处理和大数据分析等领域。借助GPU的并行计算能力，用户可以在云端高效地完成大量计算任务，而无需投资昂贵的硬件设备。
如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（上）
佛州小李哥的博客
02-18 848
小李哥今天将介绍，如何使用Ollama在云计算平台上，通过Amazon EC2 GPU服务器部署DeepSeek-R1-Distill-Qwen-14B。DeepSeek是坐落于杭州的人工智能公司，近期因其创新的AI模型引起了广泛关注。这些模型不仅在性能上可与国际上领先AI模型媲美，同时具备更高的性价比。该公司于2025年1月20日发布的DeepSeek-R1，在数学、代码和推理任务方面与OpenAI的o1推理模型相当，但成本不到其10%。
AWS EC2主机类型的区别和联系
热门推荐
hongchangfirst
12-18 2万+
AWS EC2 Instance Type 有很多种类型，什么t2.small, m4.xlarge, c3.2xlarge等，那么这些t啊，m啊到底是什么意思呢？我们接下来一一介绍。 按照用途分为五大类： 1 通用型，提供平衡的计算，内存，和网络能力，t2,m5系列。 2 计算优化型，c5,c4,c3系列。 3 内存优化型，x1,r4系列。 4 加速计算型，p3,p2,g3,f
生成式 AI 的新引擎：探索 Amazon EC2 P5 实例与 NVIDIA H100 GPU 的结合
2401_85233349的博客
07-11 1537
人工智能（AI）和机器学习（ML）正以前所未有的速度改变我们的世界。为了支持这些技术的进步，计算能力的需求也在不断增加。2023年3月，AWS和NVIDIA宣布了一项深度合作，重点是构建最具可扩展性的按需AI基础设施，专为训练日益复杂的大型语言模型（LLM）和开发生成式AI应用程序进行了优化。这篇文章将深入探讨这次合作的细节以及其带来的创新性产品 — — Amazon EC2 P5实例。
帮写工学云自动签到的代码
09-13
### 回答1： 以下是使用Python和Selenium实现的工学云自动签到代码： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.chrome.options import Options import time # chrome驱动路径 chrome_driver_path = "chromedriver.exe" # 用户名和密码 username = "您的用户名" password = "您的密码" # 设置chrome参数 chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--no-sandbox") # 创建chrome浏览器实例 browser = webdriver.Chrome(executable_path=chrome_driver_path, options=chrome_options) # 打开网页 browser.get("https://www.gxyclub.com/") # 登录 login_btn = browser.find_element_by_class_name("login-item") login_btn.click() username_input = browser.find_element_by_id("username") username_input.send_keys(username) password_input = browser.find_element_by_id("password") password_input.send_keys(password) submit_btn = browser.find_element_by_id("submit") submit_btn.click() # 等待登录完成 WebDriverWait(browser, 10).until( EC.visibility_of_element_located((By.CLASS_NAME, "user-info")) ) # 进入签到页面 sign_in_btn = browser.find_element_by_xpath('//*[@id="topNavBar"]/div[2]/div/a[5]') sign_in_btn.click() # 判断是否已签到 sign_in_status = browser.find_element_by_css_selector('.day-btn.btn.btn-primary') if sign_in_status.text == "已签到": print("今天已经签到了") else: # 签到 sign_in_btn = browser.find_element_by_css_selector('div.sign-in-wrap > .day-btn.btn-primary:not(.disabled)') sign_in_btn.click() # 等待签到完成 WebDriverWait(browser, 10).until( EC.visibility_of_element_located((By.CSS_SELECTOR, '.system-message.success')) ) print("签到成功") # 关闭浏览器 browser.quit() ``` 上面的代码实现了自动登录工学云并进行签到，执行后会在控制台输出签到结果。将代码保存为.py文件并运行即可。需要注意修改代码中的用户名、密码以及chrome驱动的路径。 ### 回答2： 工学云自动签到代码示例： ```python import requests def sign_in(username, password): login_url = 'https://your_login_url' # 替换为登录页面url sign_in_url = 'https://your_sign_in_url' # 替换为签到页面url # 创建会话 session = requests.Session() # 登录 login_data = { 'username': username, 'password': password } response = session.post(login_url, data=login_data) # 检查登录状态 if '登录成功' in response.text: print('登录成功') else: print('登录失败') return # 签到 sign_in_data = { # 根据签到页面的表单字段，填写相应的参数 'param1': 'value1', 'param2': 'value2' } response = session.post(sign_in_url, data=sign_in_data) # 检查签到结果 if '签到成功' in response.text: print('签到成功') else: print('签到失败') # 替换为你的工学云账号和密码 username = 'your_username' password = 'your_password' sign_in(username, password) ``` 上述代码中，根据实际情况，你需要替换以下部分： - `'https://your_login_url'`：替换为工学云的登录页面url - `'https://your_sign_in_url'`：替换为工学云的签到页面url - `'param1': 'value1', 'param2': 'value2'`：根据签到页面的表单字段，填写相应的参数 - `'your_username'`：替换为你的工学云账号 - `'your_password'`：替换为你的工学云密码 请确保按照实际情况正确填写这些信息。运行代码后，它将自动登录到工学云，并进行签到操作。输出结果将会显示登录和签到的成功与否。 ### 回答3： 工学云自动签到的代码可以使用Python语言编写。 首先，我们需要导入所需的库，如requests和time： ```python import requests import time ``` 然后，我们需要定义工学云的登录URL和签到URL，以及相关的参数。这些参数可以在浏览器的开发者工具中查找获得： ```python login_url = "https://www.example.com/login" # 工学云的登录URL signin_url = "https://www.example.com/signin" # 工学云的签到URL username = "your_username" # 工学云用户名 password = "your_password" # 工学云密码 payload = { "username": username, "password": password } signin_payload = { "type": "signin" } ``` 接下来，我们可以编写登录函数来进行自动登录： ```python def login(): session = requests.Session() session.post(login_url, data=payload) return session ``` 然后，我们可以编写签到函数来进行自动签到： ```python def signin(session): session.post(signin_url, data=signin_payload) ``` 最后，调用登录函数和签到函数，并设置定时器来实现自动签到的功能： ```python if __name__ == "__main__": session = login() signin(session) # 每天定时签到 while True: current_time = time.localtime(time.time()) if current_time.tm_hour == 8 and current_time.tm_min == 0: session = login() signin(session) time.sleep(60) # 避免重复签到 ``` 以上就是一个简单的工学云自动签到的代码示例，可以根据实际情况进行修改和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值