Ceph Day技术沙龙:Ceph中国社区联合创始人的总结

摘要:Ceph中国社区的QQ群群主、Ceph中国社区联合创始人耿航的“Ceph Day”技术沙龙总结,列举了活动主要讨论的话题,并针对某些话题发表了一些个人看法,最后对Ceph中国社区的建设以及Ceph中国社区的目标和规划进行展望。

【编者按】6月6日,“Ceph Day”技术沙龙在北京举行,吸引约200位Ceph爱好者参与。Ceph中国社区的QQ群群主、Ceph中国社区联合创始人耿航参加了本次沙龙活动并撰写此篇总结,列举了活动主要讨论的话题,并针对某些话题发表了一些个人看法,最后对Ceph中国社区的建设以及Ceph中国社区的目标和规划进行展望。


首先,感谢英特尔和红帽联合主办本次“Ceph Day”活动日,这是国内第一个围绕Ceph主题的技术沙龙活动。

“Ceph Day”技术沙龙当天,现场十分火爆,会场人数超出了活动主办方的预期。在筹备阶段,主办方就计划通过CSDN进行在线报名登记,预计招募100名Ceph工程师以及从事Ceph相关领域的企业代表参与。但是沙龙活动当天,大概有200人进入会场,可谓座无虚席。后来的参会人员索性站在后排,可见大家对“Ceph Day”技术沙龙活动的热情之高。由于这次技术沙龙活动是在北京举行的,有不少国内其他城市的工程师和企业代表未能亲临现场。可见国内关注Ceph相关的工程师和企业的数量是相当多的。

Ceph Day说了些什么

笔者大概总结如下:

1.Intel大数据技术中心全球总经理马子雅的开场白。

2.Ceph社区总监Patrick McGarry,目前在红帽工作,讲的是社区Ceph的版本,Future等等。

3.来自Intel的软件工程师陈晓熹,讲的是Newstore目前的状况以及与filestore的对比情况等等。

4.来自麒麟云&麒麟社区的汪黎,讲的是天河二号部署的情况、国产Linux desktop(Ubuntu Kylin)以及他们为OpenStack和Ceph的代码贡献、设计思路以及提交代码(Cache Tiering温度检测、Ceph 离线恢复工具等等)。针对于这个session,个人觉得麒麟社区对Ceph以及OpenStack社区的贡献还是挺大的,这个Ceph离线恢复工具很好,受到很多人的期待,也希望大家积极给这个项目提交代码,让它更加完善。

557533dcef2bc_middle.jpg

557533f78dec5_middle.jpg

5575340f953d5_middle.jpg

5575341f88fc9_middle.jpg

5.王豪迈讲的是Ceph如何部署在Container Docker上面,以及CEPH FS 如何在Docker以及OpenStack(manila)上面的使用等等。

55753437aa558_middle.jpg

5575344c37249_middle.jpg

6.来自UnitedStack的孟圣智,讲的是如何让Windows使用Ceph,以及他们贡献代码的项目Ceph-Dokan的当前状态和未来打算。Ceph-Dokan项目就是在windows下开发的,并且让Windows也能使用Ceph。

7.来自Intel的软件工程师薛晨笛,讲的是他们自己研发的CeTune,一个可以自动部署和优化Ceph的工具,能够帮助Ceph新手更快地部署和使用Ceph,但遗憾的是他们目前才开发两个月,还没有开源,据说一定会开源的。(这是大家期待的,另外也期待他们能够开发出可以直接优化现有Ceph环境的工具。目前很多人的难题,就是Ceph环境已经搭建好,但不知道如何优化来达到硬件的最佳性能,因为Ceph本身搭建出来的性能是较差的,需要来通过不同参数以及各方面的优化来调整性能,所以这对SDS软件定义存储Ceph来说是一个挑战。希望Ceph越来越简单化、用户化、易维护化。)

下面是CeTune的一些deploy、configuration以及benchmark的图片:

5575347f4ddd4_middle.jpg

5575348bbaab6_middle.jpg

55753497814fc_middle.jpg

557534a16e771_middle.jpg

557534ac2bdac_middle.jpg

557534b4f216f_middle.jpg

5575354c1d877_middle.jpg

55753558ca08e_middle.jpg

5575356462edb_middle.jpg

55753570ac1a6_middle.jpg

8.海云捷迅的研发总监吴德新和存储研发工程师武宇亭,讲的是Awcloud在OpenStack社区以及Ceph社区的代码贡献以及怎样优化Ceph、备份Ceph等。

下面是他们优化Ceph的三步走,第一步是从crushmap方面入手,第二步是从Ceph配置文件调整参数,第三步是通过Ceph osd pref查看比较低的OSD将其T出去等。

55753597d4375_middle.jpg

557535ce4b0ec_middle.jpg

557535da57cac_middle.jpg

557535e5ca5fb_middle.jpg

557535efbd0dc_middle.jpg

557535fd28a33_middle.jpg

9.完美世界的首席技术专家张晓宜,讲的是他们使用Ceph的遭遇和解决方法,笔者觉得讲的很好,主要从用户的角度全面分析了他们在使用Ceph过程中不断优化、不断演进的过程,从用户的角度来吐槽了Ceph当前在落地过程中的困难。

他们遇到的主要问题:两台DELL R720xd,每台12块4T硬盘,96G内存,万兆互联,Ceph副本数量为2,备份速度很好,240MB/s,但是备份恢复速度很慢,30M/s。最开始的时候是用RAID6将12块硬盘变为1个OSD,后来变为独立的OSD后,仍然不能解决性能上的问题。

最终的解决方案:加大Ceph服务器上的块设备的read_ahead_kb和KVM虚拟机中的read_ahead_kb,优化后的系统备份速度为450M/s,备份恢复速度达到了600M/s。在这个过程中也尝试了打开了rbd_cache,但是事实证明是无效的,有其原因是因为rbd_cache还是对读写比较频繁的操作有效,在这样的场景中无效。所以说参数调优也是根据实际环境和实际的场景应用的。

5575362eeadf9_middle.jpg

5575363c24f6d_middle.jpg

5575364bccc74_middle.jpg

5575365e43947_middle.jpg

10.Intel的软件工程师周渊,讲的是Big Data如何与OpenStack以及Ceph来结合使用。

11.SanDisk的工程师,讲的是他们针对于Ceph专门出了一款设备叫做IF500,这款设备对Ceph在Flash卡做的大量优化。

圆桌讨论

最后是圆桌会议(Panel Discussion),嘉宾包括:Patrick McGarry(红帽)、张建(Intel)、李华 (海云捷迅  )、王道邦(同有飞骥)、王欣(平安科技)、张晓宜(完美世界)、许葳(清华大学)、孟圣智(UnitedStack)和汪黎(麒麟社区)。由于时间关系,主要讨论了两个问题:

1. What do you think is current problem of Ceph ?

2. How can we accelerate the development of Ceph in China ?

针对于第一个话题,各位专家都认为性能还是排在第一位,因为我们不可能用很多高大上的设备以及花很多的钱来搞分布式存储Ceph——与其那样,还不如直接采用传统硬件设备合算。

第二个话题,笔者认为要经常在中国举办类似Ceph Day这样的技术沙龙活动,普及和推广Ceph在中国的发展,当然在推广的同时也应该考虑中国对Ceph社区代码提交量的问题。很多人说中国人对开源社区一向是索取的多回报的少,确实如此。笔者觉得孟圣智说的对,这是一个生态圈,大家不能光索取不回报,否则这个项目可能就会死掉,那大家都会Game Over。

举个例子,一个村子,村民的生活都依赖于一条河,要经常在这条河里面捕鱼、吃鱼,甚至卖鱼,如果长期只是这样,整个生态链肯定会断;相反,如果经常组织村民同时买一些鱼苗放生到河里面,这个生态圈就能很好地维持。大家向开源社区提交代码也是如此。

尽管好多人都是初学者,但是可以从通过不断的使用发现bug、提交bug,长时间地接触和学习,慢慢的就会熟悉社区流程,慢慢的学着提交一些代码。今天通过Ceph Day看到大家都期望中国能组织起来Ceph,弄一些Ceph的优化以及Ceph中国社区,把中国的Ceph Developers组织起来,一起为Ceph社区提交代码,来展现咱们中国的IT互联网开源精神,笔者觉得还是不错的。

Ceph中国社区的未来发展

笔者之前联合了网宿云计算负责人过晓春以及郭华星(@Star華星_FreeBSD)、沈志伟(@一页空纸)、孙琦和其他的几位好友,于5月18日正式上线了Ceph中国社区(www.ceph.org.cn),后期可能还会上线一些问答系统等。

鉴于目前国内Ceph存储技术没有完整的技术社区,而且由于语言壁垒造成不少人员对Ceph的理解不透彻,我们打算通过“Ceph中国社区”,提供一个技术交流平台,让工程师们讨论Ceph技术,分享技术,并组织Ceph资深人员开展技术沙龙,我们也会联合Intel、Redhat、海云捷讯、UnitedStack等Ceph生态圈的公司一起在国内推广Ceph技术,让Ceph的门槛逐渐变低,让初学者们更加快速地掌握Ceph,同时也会扩充Ceph中国社区人员,推动各位国内的Ceph Developers来共同为Ceph社区进行代码提交。

当然,我们的进步离不开大家的努力,所以,欢迎大家积极地加入到Ceph 中国社区,携手共同营造Ceph中国社区,为Ceph在中国的发展做出一些贡献,同时通过参与社区的项目开发,增强自身多方面的能力。(责编/周建丁)

作者介绍:耿航,Ceph中国社区的QQ群群主,Ceph中国社区联合创始人。微博:@耿航-Devin


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值