Apache Eagle：eBay构建Hadoop监控预警平台深入剖析与实践

引言

如今，许多组件有助于应用程序的性能，但数据库是这些技术堆栈的基础。当应用程序运行不良时，通常是由于数据库级别的问题，包括：服务器停顿，不佳的查询性能或延迟不佳。

这些只是工程团队每天遇到的常见数据库相关挑战其中的三个。良好的数据库性能监控可以帮助数据库管理员，开发人员和工程师快速诊断并解决这些问题。但是IT人员需要知道什么才能选择正确的方法？

本次数据技术大会，我们开设了两大专场：专场17： 数据库智能化运维和专场14： Hadoop生态系统，从监控系统的角度聊数据库智能化，同时，我们有幸邀请到了来自eBay、奇虎360 、Facebook、美团点评、百度外卖等11位高级技术专家，通过对自己平台的实践经验的分享，主要针对以下几个议题展开讨论：

专场14： Hadoop生态系统

• Apache Eagle：eBay构建Hadoop监控预警平台深入剖析与实践

• HIVE 迁移 spark 实践

• 原生SQL on Hadoop 引擎 － Apache HAWQ 2.X 最新技术解密

• 海量结构化和非结构化大数据Hadoop集群规划

• 基于SparkSQL的海量数据仓库设计与实践

专场17： 数据库智能化运维

• Facebook Online Schema Change原理和大规模表结构变更最佳实践

• 基于数据库虚拟化技术的拷贝数据管理(CDM)平台

• 金融行业基于容器技术的OLTP数据库技术

• 美团数据库团队转型之旅：DevOPS、运营化、智能化

• 百度外卖数据库智能运维

• 断舍离，测试环境数据库性监控实践    

大会亮点

第八届中国数据库技术大会

2017

2017第八届中国数据库技术大会是国内最受关注的数据库技术盛会，将于2017年5月11-13日在北京国际会议中心举办。

本次大会看点：以“数据驱动•价值发现”为主题，汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家，共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题。

专场14： Hadoop生态系统

5月13日 上午8:50-12:00

eBay分析平台架构部工程师

赵晴雯

议题：

Apache Eagle：eBay构建Hadoop监控预警平台深入剖析与实践

“

在与云计算和大数据时代背景下，各种大型分布式系统例如Hadoop，Spark、Open Stack等层出不穷，eBay作为世界顶尖的电商巨头之一，这些系统在驱动eBay业务增长的同时，管理维护它们的挑战也愈加严峻，同时对监控预警系统提出了更高的要求，例如更强的伸缩能力、更实时的预警能力、支持更复杂的预警规则、更加动态灵活的关联预警等，而传统预警系统如Zabbix、Nagios 、Ganglia等逐渐疲于满足我们的需求，于是，我们决定从零开始打造全新的分布式实时预警引擎－Apache Eagle。Apache Eagle (http://eagle.apache.org/) 是由eBay开源的分布式实时监控与预警系统，专注于解决大规模分布式集群（如Hadoop）运维场景中的服务监控、性能分析、异常预警以及数据安全等问题，于2015年10月26日正式开源并加入Apache软件基金会（http://apache.org）成为孵化器项目。本次分享我们将深入介绍Eagle的设计和实现，以及在分布式实时预警方面的一些经验。

河狸家数据平台工程师

黄伟伦

议题：

HIVE 迁移 spark 实践

“

线上SQL作业从HIVE引擎迁移到SPARK引擎实践。从部署到语义与功能差异得解决方案。以及spark新特性的应用。

 Pivotal 资深产品经理

马丽丽

议题：

原生SQL on Hadoop 引擎 － Apache HAWQ 2.X 最新技术解密

“

SQL on Hadoop引擎是以HDFS作为存储、以SQL接口提供服务，从而能够有效结合SQL语言的表示和HDFS的多备份存储。Apache HAWQ将MPP并行执行与HDFS多备份存储有机结合，同时支持SQL全标准、事务、PL Language、机器学习算法。本次分享会介绍HAWQ 2.X的最新框架和新功能进行介绍，包括弹性查询执行、动态集群伸缩、与Yarn集成的资源管理、与Ranger集成的用户权限管理，以及对Hive外部数据的访问。

…………

专场17： 数据库智能化运维

5月13日 下午13:30-18:00

Facebook Production Engineer

卢钧轶

议题：

Facebook Online Schema Change原理和大规模表结构变更最佳实践    

“

Facebook MySQL Infra支持着整个公司上千人研发团队的日常表结构变更。本次分享将分为三个部分： 一、 OnlineSchemaChange 原理和从PHP到Python的演变 二、 现有各个开源产品之间的比较 三、 大规模表架构在线变更的最佳实践。

上讯信息技术股份有限公司 数据安全产品部高级研发经理

李玉亮

议题：

基于数据库虚拟化技术的拷贝数据管理(CDM)平台

“

"根据权威结构的调研，企业中一个生产数据库在非生产环境中会有10个左右的拷贝用作开发、测试、QA、数据分析等场景。 这些拷贝的创建和维护会给企业带来存储成本增加、人力成本增加、时间成本增加和安全性降低这四个问题。 数据库虚拟化技术可以使用一份数据库拷贝集中创建和管理多个虚拟数据库，虚拟数据库不需要占用额外的存储空间，并且相互独立， 从而可以实现在降低数据使用成本的基础上提高效率和安全性。"

富麦信息科技有限公司CTO

余军 

议题：

金融行业基于容器技术的OLTP数据库技术

“

容器作为一种底层技术，不但是这两年无状态应用服务化和分布式应用的利器，在有状态服务领域，比如主流的OLTP数据处理领域，也越来越显示出强大的潜力。作为国内最早的一支在金融行业落地基于容器的OLTP数据处理平台的团队，我们在过去几年的实践和摸索中，越来越感受到容器技术对于数据处理服务的重要意义。目前有状态服务是否适合容器化部署和运行还有很多不同意见，我们通过摸索和自主研发形成了相关的方案。本话题将围绕基于我们实践过程中比较有代表性的技术点进行分享和讨论。

…………

5月13日大会议程预告

扫码查看，大会3天完整议程