与贰作为一个老数据科学研究僧,近些年从数据挖掘转到机器学习再转到深度学习,兜兜转转一直在和数据玩游戏。那么在这个过程中,作为生产力工具,一个诚心如意的工作平台可谓是可遇不可求。笔记本续航差,易发热,轻薄本算力不够,性能本又不便携带,mac又太贵,可真是为难死个与贰了。
那会儿还不叫ModelWhale
初识和鲸,那会儿还不叫ModelWhale,也没有如此系统的算力平台。那是在2020年春天,恰逢疫情在家,我和师姐希望打个比赛,赚点生活费。比赛叫水下目标检测,分光学和声学两个赛道,第一次打比赛的我两毫无经验,还破天荒的拿了个三等奖,小有收获!
后来呀,和鲸的小伙伴找人来做两场培训直播,从来没做过直播的我毛遂自荐。准备过程中,小伙伴要求要使用平台上的notebook进行展示。这是我第一次使用和鲸平台,丝滑的感觉倒也是十分的友好。
ModelWhale出生啦
后来,从和鲸小伙伴这里听说社区版本的ModelWhale正式上线了。我必须给一个大大的推荐,我认为办公平台的云端化将是未来计算机行业发展的一个大趋势。我们可以只携带一个办公本就可以享有充足的算力,并且进行长时间的后台运算。有专业的运维人员来帮忙维护算力平台的运营,这有利于合理的分配现有的计算资源,更好的分工与协调,帮助新建的创业公司快速的构建可行的办公场景,可靠的降低现有的硬件办公成本等等。
处于对新鲜事物的好奇,我决定试试ModelWhale,工作台的入口在和鲸社区,可以在左上角自由的切换进入。进入工作台之后,发现页面可谓是十分的精简,分为首页、项目、数据和实例四个卡片。首页显示最近使用的项目和数据集;项目包含了你所有的项目可以自由的选择公开或者私有;数据则是包括了你上传的数据集和别人公开的数据集;最后实例显示了个人的可用时长和可用镜像。
研究数据科学的人都知道,作为打工人的我们最怕的就是配置环境了。ModelWhale贴心的提供了两种模式:1、提供大量已有的集成镜像 2.支持用户自定义镜像。
ModelWhale提供大量已有的集成镜像,包括了基础镜像,常用深度学习框架镜像tensorflow和pytorch(还支持了不同版本的工具哦),医学数据挖掘镜像,气象分析镜像,数据科学镜像等等供你选择。这么多种配置好的镜像供你使用,最大程度降低你科研外需要花费在部署环境上的时间。
此外,有的小伙伴会有比较多的定制化的任务,担心平台的镜像包含的库覆盖不全或者版本不对等等。ModelWhale还支持自定义镜像,你可以自由的选择想要使用的软件和版本。
同时还支持相关包的版本选择,可谓是贴心到家了。点击添加按钮就可以自由的选择需要的库了。
关于镜像最后的消息,听说组织版还可以听说组织版可以构建完了一键保存镜像哦!
在数据选项卡片上,ModelWhale提供了统一的数据管理机制,并且有海量的公开数据可供使用。ModelWhale社区版支持用户上传数据集,并且可以选择是私有还是公开。挂载完数据集之后,就可以在自己的项目中自由的进行调用了。小伙伴们发现没有,ModelWhale社区版竟然还可以被当成大型免费云盘来使用,不限速的哦!可谓是心动十足,诚意十足了!
上手!ModelWhale
看到这里,我觉得功能还是不错的,所以我决定上手试试。
首先点击首页上右上角的加号,选择数据集。我上传了一个私有的数据集VeRi-776,这是车辆ReID中最常用的数据集了。
并且将数据集选择为私有,传输结束的数据集如下所示:我们上传的是一个完整的zip压缩包,ModelWhale竟然很贴心的完成了文件的解析工作。
然后同样首页右上角的加号,选择第一项项目,新建一个项目,并添加刚刚加入的数据集进入。上手一个小项目,我决定对VeRi-776数据集进行一个简单的分析:
选择新建notebook,选择编程语言为python。选择基础镜像,点击运行进入。为了给新手提供更加友好的使用感受,ModelWhale还贴心的提供了12项的新手引导。
分别输入三个图片文件夹在系统中的位置,然后通过glob包分别对train,query和gallery中的图片数量进行一个简单的分析。
要完成一个ReID任务,仅仅知道图片数量当然是不充分的,所以我又进一步开始对图片ID进行分析,可以看到训练集有575个ID,测试集有200个ID:
快来快来,朋友们!
ModelWhale社区版每个月赠送用户60h的基本资源,满足初级应用需求。对于更多要求的客户,即可付费购买时常,还可进入组织版购买使用更加快速强劲的GPU资源。除此之外还可以通过后台查看内存和CPU的分时使用情况。
和鲸科技的 ModelWhale 社区版,可以帮助更多有志于数据科学的小伙伴不再受限于计算资源;可以帮助困惑于环境部署的小伙伴快速的进入科研状态;可以帮助方兴未艾的创业公司低成本的部署便捷的办公环境。
感兴趣的小伙伴们可以过来试试呀,无论是在和鲸寻找感兴趣的比赛,还是使用ModelWhale辅助你的日常工作。