【BoostKit大数据】业界趋势、鲲鹏大数据组件增强特性和典型配置笔记

BoostKit大数据整体体介绍

一、鲲鹏应用使能套件BoostKit——释放倍级性能优势

      华为早在2004年开始拥抱并积极建设ARM开源生态。2019年发布鲲鹏计算战略，鲲鹏作为ARM生态的重要组成内容，华为进一步聚焦发展鲲鹏生态。2020年发布鲲鹏BoostKit应用使能套件，全方位使能开源、贡献开源，繁荣鲲鹏的软件生态。

      目前，鲲鹏BoostKit已经使能超过90%主流开源软件支持鲲鹏平台，覆盖大数据、分布式存储、数据库、虚拟化等主流场景。未来三年内，鲲鹏BoostKit将聚焦使能主流开源软件支持鲲鹏平台发挥高性能

提供全栈优化的应用加速能力

• 应用加速：应用性能倍级优势
• 基础加速：性能超越业界水平
• 开源使能：开源软件可用、好用

二、面向八大场景，提供场景化BoostKit

鲲鹏BoostKit，面向大数据、分布式存储和数据库等主流应用场景，提供加速数据处理、优化存储访问和提升算力部署密度的场景化使能套件。

1、BoostKit大数据

      “新基建”下，大数据等关键技术高速发展，对关键参数及相关组件的调整，使作业运行效率达到最优。

      聚焦大数据查询效率低、性能优化难等挑战，提供大数据组件的开源使能和调优、IO智能预取等基础加速软件包、Spark算法加速库等应用加速软件包，开源openLooKeng查询引擎，提升大数据分析效率。

了解详细：https://www.hikunpeng.com/developer/boostkit/big-data

2、BoostKit分布式存储

      聚焦Ceph性能低、成本高等挑战，提供Ceph参数优化、MD5摘要算法、IO直通等特性提升系统性能，并通过压缩算法、Zlib压缩、EC Turbo等特性降低存储成本，提供高性价比存储方案。

了解详细：https://www.hikunpeng.com/developer/boostkit/sds

3、BoostKit数据库

      针对开源MySQL OLAP查询效率低、OLTP场景锁性能问题等挑战，提供MySQL AP性能加速和TP锁性能优化等基础加速软件包，深度优化了OLAP查询分析效率和OLTP在线交易事务处理能力，充分发挥多核算力。

了解详细：https://www.hikunpeng.com/developer/boostkit/database

4、BoostKit虚拟化

      聚焦虚拟化性能低、网络损耗大、资源碎片严重等痛点，提供虚拟化开源使能调优指南，通过V-Turbo和OVS加速等特性提升系统性能，使用NUMA内存交织等特性减少资源碎片，充分发挥鲲鹏多核优势。

了解详细：https://www.hikunpeng.com/developer/boostkit/virtualization

5、BoostKit ARM原生

      支持移动应用无损上云，完整方案包括硬件、Host OS、ExaGear、虚拟化方案（Kbox /Robox/QEMU）、Guest OS、端云协同引擎。

(1、端云协同引擎

• 端云协同引擎包含手机端侧和服务器侧两部分，提供用于业务二次开发的核心引擎，引擎本身是动态链接库，不是一个完整的软件系统，不能独立运行，必须被客户或者ISV集成到程序中才具备软件系统的能力。

(2、基础云手机

• 在Ubuntu系统上部署不同虚拟机软件（Kbox/Robox/QEMU）,实现在Linux系统上启动Android系统的基础云手机的参考方案，用于Android的应用和游戏运行。

(3、硬件平台

• 基于TaiShan 200服务器（型号2280），增加专业的GPU和编解码卡，提供高性价比的硬件平台。

(4、云游戏/云手机APK

• 客户或者ISV基于手机端侧的端云协同引擎开发的云游戏和云手机的APK。

(5、云手机管理系统

• 提供对云游戏和云手机业务运营进行管理，如终端用户的管理、云游戏/云手机实例管理、计费模式等。因不同客户对管理诉求各有不同，所以，由客户或者ISV根据具体的业务诉求进行开发。

了解详细：https://www.hikunpeng.com/developer/boostkit/arm-native

6、BoostKit Web  

      聚焦Web应用HTTPS连接性能和Web开源组件可用性等问题，提供开源Web组件使能调优指南，通过使能鲲鹏RSA加速引擎，帮助客户提升Web网站的安全性，并实现用户HTTPS访问的极致体验。

了解详细：https://www.hikunpeng.com/developer/boostkit/web

7、BoostKit CDN

      鲲鹏BoostKit CDN使能套件聚焦CDN开源组件可用性和CDN缓存节点吞吐量低、时延大等问题，提供CDN主流组件的开源使能和性能调优指南，通过使能鲲鹏处理器内置的RSA加速引擎，对RSA2048算法进行硬件卸载，同时提供了NUMA优化等手段，以便充分发挥鲲鹏处理器多核优势，助力客户CDN缓存节点提供更大吞吐量，实现更低时延。

8、BoostKit HPC

      鲲鹏BoostKit HPC使能套件聚焦资源调度效率低、应用性能优化难等关键挑战，通过全栈架构创新、软硬件自研、底层基础软件优化和行业应用性能调优等技术构建全栈高性能计算基础平台，帮助客户释放平台算力，缩短产品上市周期，提升企业产品竞争力。

架构简介：鲲鹏BoostKit HPC使能套件（简称鲲鹏BoostKit HPC）总体架构由：基础设施、硬件平台、基础软件行业应用层组成。

(1、行业应用

1. 当前可以支持并应用的行业，包含气象、制造、EDA、政府HPC等；对于开源行业应用，可以通过鲲鹏代码迁移工具迁移适配后在鲲鹏平台上运行。

(2、基础软件

• 提供统一高效的集群计算套件CCSuite，包括集群管理平台、作业调度器CCScheduler、通信库Hyper MPI，同时提供或兼容鲲鹏GCC编译器，鲲鹏KML数学库和CentOS操作系统。

(3、硬件平台

• 提供多样化的计算资源、高性能存储及主流高速网络。

(4、基础设施

• 提供模块化的数据中心。

   高性能开源组件——华为高性能通信库 Hyper MPI

      Hyper MPI是整个高性能计算解决方案的关键组件，它实现了并行计算的网络通讯功能，可以用来支持制造、气象、超算中心等应用场景，同时该通信库也可扩展应用于AI、大数据等通