下班回家空调和新风系统已经主动调节到自己舒适的温度;
做饭时,冰箱根据现有的食材,主动推荐健康食谱;
洗澡时,打开热水器就是自己最喜欢的温度……
基于智能生态系统的未来家庭生活正在走进千家万户,互联网、家电、硬件厂商等纷纷入局,运营商亦是重兵布局。随着生活场景的不断丰富,用户在各类场景下对泛智能终端的使用需求日益增长,大量终端设备产生的数据量快速增加,大数据平台在智慧家庭行业价值进一步凸显。
中移(杭州)信息技术有限公司(以下简称“中移杭研”)是中国移动通信有限公司的全资子公司,秉持“深耕数智家庭创新能力,让网络更智能,让生活更多彩”愿景,以“全千兆”为引领,不断创新演进“一根线、一块屏、一双眼、一个家、一公里”的“五个一”家庭信息服务体系(HDICT),不断深化基于规模的价值经营和基于场景的客户运营,推进中国移动家庭市场高质量可持续发展。其研发的中移杭研大数据平台是“智慧家庭运营中心”的“大脑”,通过信息的实时获取、高效处理和快速响应,实现家庭业务的智慧化运营。
随着云计算和物联网技术的日益完善,对智慧家庭的感知、监控、智能化服务等技术研究也在逐步深入,中移杭研对承载大数据平台的基础设施也迎来更多挑战:
1. 大体量
智慧家庭设备品类众多,呈现出终端多样化趋势,数据规模随之呈指数级增长。
2. 高并发
海量数据面临高性能并发计算的挑战,家庭数据服务的并发量平均可达数十万/秒。
3. 低时延
家庭安全应用场景对数据实时处理要求很高,需要秒级完成数据的采集、分析、出结果。
基于上述挑战,中移杭研急需融合性能高效、自主程度更高的基础设施来承载大数据平台,以满足进一步的数据融合和管理需求,为用户提供更加灵活的一体化的方案。鲲鹏由于其天然的多核多并发的扩展运行能力,以及高性能、高算力优势,能够很好的满足数据量大、并行计算、低时延等要求,同时提供完善的鲲鹏DevKit开发套件以及专业服务,能够帮助用户快速完成应用的迁移、开发、编译和调优。
鲲鹏DevKit使能1.5人天完成大数据集群部署
在项目初期,鲲鹏DevKit使能中移杭研大数据平台1.5人天快速迁移到鲲鹏。平台共涉及多个模块,包括Hadoop、HBase、Hive、Spark等第三方大数据组件,如采用手动迁移,整个平台迁移预计需要15人天才能完成。鲲鹏DevKit代码迁移工具极大简化了应用迁移的过程,可以实现依赖文件自动识别、兼容JAR包一键下载、代码修改建议一键替换,无须耗时耗力检查跟进,提高了代码迁移效率。
全栈调优,软硬协同,大数据平台业务处理耗时短14.5%~32.4%
完成了大数据集群在鲲鹏+openEuler平台的迁移部署之后,为提升业务性能和稳定性,技术人员将平台之前使用的编译工具OpenJDK8换成毕昇JDK,毕昇JDK在鲲鹏架构中提供了更好的稳定性、GC(Gabarage Collector)性能、类信息共享等,最终实现编译性能相较OpenJDK提升了约4%。
此外,为了充分释放鲲鹏硬件多核的算力,技术人员参考鲲鹏BoostKit大数据开源使能调优指南,结合杭研大数据平台的业务特点,在BIOS、操作系统、大数据组件等多个方面进行了针对性的性能调优:
BIOS方面,通过关闭SMMU提升网卡性能,关闭CPU预取功能减少Cache污染。
操作系统方面,使用手动绑核将网卡中断固定住,可以有效提高业务网络收发包的能力;通过调整IO调度策略和预读大小,服务器能够有更高的IO效率;关闭内存大页,防止发生内存泄露,从而减少了卡顿。
大数据组件方面,结合鲲鹏CPU核数较多的优势,合理修改各组件配置的参数,使得鲲鹏服务器的资源可以被大数据集群充分调度起来;通过开启NUMA感知特性,支持Yarn组件在启动Container时使能NUMA感知功能,减少跨片访问从而提升性能。
通过上述性能调优之后,经技术人员测试杭研大数据平台基于Spark的生产业务处理较传统解决方案有了14.5%的性能提升,而基于Hive的生产业务处理性能提升更是达到了32.4%,能够为平台用户提供体验更顺畅的移动互联网产品。
转载自鲲鹏社区:https://www.hikunpeng.com/zh/developer/techArticles/20231130-10