上一篇:3个月找不到工作,我找了个“替身”面试成功拿到Offer,顺利入职了,结果翻车......
提到李沐老师,大家应该挺熟悉的了,亚马逊资深首席科学家,AI领域的大牛。
这不前段时间,李沐老师的频道里更新了一期装机的视频(BV1NB4y1L7R8),实不相瞒,看完实在是慕了。
![34526eab4568982ff7f162d05aa4cdfa.png](https://i-blog.csdnimg.cn/blog_migrate/1191b2c163cffe491037bbaca8a61c82.png)
在还没出装机视频前,李沐老师曾发起了一个小小的问卷调查,看下童鞋们对装机跑Transformer有多大兴趣。
当时参与的小伙伴很多,足见大家还是很期待的。
![cffc3331bdad636429df05b90b0a8b68.png](https://i-blog.csdnimg.cn/blog_migrate/a199b401cc13e3f940a8eb7f4f91e212.png)
这不,沐神带着他的装机视频来了。
在这个项目的开始,先装了2台原型机,每台机器都是双卡RTX 3090TI,采用了水冷散热系统,减少了噪音。
这一台机器装下来,造价可不低。
话不多说,来看看沐神是如何装机的吧~
![e174b4a74d57ccf0e08912b4742fbdbc.png](https://i-blog.csdnimg.cn/blog_migrate/70701d215414985b14ad01d29bd540d3.png)
装机清单
装机的需求,首先就要是足够安静,不然太吵的话没法工作。
第二个需求就是散热要好。不然温度过高的话会导致GPU降频。
第三个,重点来了,因为需要跑比较大的Transformer模型,所以GPU的带宽必须足够好。
如果之前装过GPU服务器用来跑CNN的话,跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大,对内存的占有率会更高。所以GPU的内存大小非常重要。
![d2baa31c63da6472130ea6344cc2773b.png](https://i-blog.csdnimg.cn/blog_migrate/fe8cb571c09d04cb860dc4433e9e9e1c.png)
之前李沐老师也讲过,要把这样大的Transformer模型放到多个GPU上训练,来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上,GPU的带宽仍然是一个瓶颈。
购买这种服务器GPU和游戏GPU的区别就在于,前者不在于单卡能跑多快,而是卡与卡之间能够多快地连接出来。
因此装机理念的重点就是:尽量增大GPU内存,以及GPU之间互联的一个带宽,
如果一台机器想放很多卡的话,就要买涡轮的散热。
如果想要安静的话,就买水冷的散热,沐神买的是4块3090 TI。用水冷的好处是比较安静,坏处就是特别占地方。
所以,如果要在机箱放四块卡的话,就不要买水冷的版本,而是要买只有一个涡轮风扇的版本。
而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡,风是从正面进入机箱,然后从四面八方散热,卡挨得紧的话,机箱里的温度就会非常高。
作者也说,自己在多年前,买了四块2个大风扇的卡放在一起,结果就导致一块卡温度过高烧掉了。
GPU选好以后(华硕的ROG), 剩下的配置就比较简单。CPU用的是AMD的12核CPU,主板是号称PCIE 4.0 16的某牌子,硬盘是2TB的M.2硬盘,风扇是120毫米水冷风扇,加一个全尺寸机箱。
![b5820e184658e126c19045be2df05913.gif](https://i-blog.csdnimg.cn/blog_migrate/5e7db6db13de9c1bf9dbed4d15e34176.gif)
压力测试
在装机完成后,下一步的任务就是继续装上操作系统。
这里沐神装的是ubuntu22,装上之后就靠远程连上去了。
当然了,作者也是把各种情况说的比较详细,除了ubuntu22以外,windows和linux在不同的需求下也是可以的。
这里沐神用的SSH进行的远程连接。
![76df2966b1c19dca66caaf686b5d0e8e.png](https://i-blog.csdnimg.cn/blog_migrate/c4322d8aac00a7641a7ee1536eaadc31.png)
沐神的系统已经装上了驱动,同时,他也指出如果还没有驱动的话,也可以用apt-get装上nvidia-driver-515。
![8b84c42d3fce592210e9cda51a87271f.png](https://i-blog.csdnimg.cn/blog_migrate/fc157fdae1c8a9b47c5b6f5fe8c0e826.png)
装好之后,就可以运行nvidia-smi,看到系统了。
![d3c6eba9a8d5c8ef748d6136bbe34919.png](https://i-blog.csdnimg.cn/blog_migrate/08c79f5da4889cba2c85cc86df39aa34.png)
从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存使用等等。
接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。
![939ae131825aa532064f36683deaf9fe.png](https://i-blog.csdnimg.cn/blog_migrate/dec5f8aff67bd2e8b6bc4063c854bbe3.png)
可以看到两个GPU由NV4连接。4表示4个通道,这就代表连接是正常的。
下一题,就是测试系统在满负荷的情况下的温度。
沐神表示,测试GPU的是一个叫gpu-burn的小程序,github上可以下载。
视频中模拟跑了十分钟,也是看到了两个GPU的温度。作者还打趣说,都能感觉到GPU在呼呼吹热风。
同理,CPU也可以用这种办法测试温度,用的是cpu-burn。
最终两个GPU的温度停留在58度和55度,功耗拉到了440多瓦(满功耗480瓦),还挺好的。
最后的一项参数是机器的耗电情况。作者的测试大概用了1240瓦,意味着每小时用电1.2度。
![38d35f5c90596fc77ae1a0af79859e8e.png](https://i-blog.csdnimg.cn/blog_migrate/c173ebd9a25dd17f8b98d8b500c92678.png)
从目前的数据来看,稳定性还ok。
至于用这台机器跑Transformer性能怎么样,这就得等以后的视频了。
网友热评
视频发出后,b站的网友也表示出了极大的兴趣。
有满分课代表同学出没,列出了视频中提到的完整配置清单。
![d98200e79f330892aab2da961addf5bb.png](https://i-blog.csdnimg.cn/blog_migrate/5ab211d4949163857b04fb0bfacd6b89.png)
当然了,这种硬核装机视频下的评论肯定少不了幽默因素。
![c95efd5ac96842fba2c5f52cbe15a939.png](https://i-blog.csdnimg.cn/blog_migrate/a8d7426539eff5b0b27f953b51d8326d.png)
只能说,太真实了。
不说了,努力搬砖去了,争取早日也能攒一台这样的台式机~
全文完,感谢你的耐心阅读。如果你还想看到我的文章,请一定给本文“在看”、“点赞”,新文章推送才会第一时间出现在你的微信里。
- END -
热门推荐:
这个外包公司太恶心了。。进去请三思!
1024程序员节,别人家的公司真香!羡慕ing~
当程序员们决定去考公
字节绩效开奖了!
最新“铁饭碗”排名,公务员排第六,国家烟草第四,医生第二,第一很多人却不知道
PS:如果觉得我的分享不错,欢迎大家随手点赞、转发、在看