干货 | eBay Hadoop/Spark自助分析系统实践

导读：当下，企业越来越重视数据资产的价值，并以此作为提高行业竞争力的重要支撑。海量、多源的数据处理是实现其数据价值的必备能力。以Hadoop/Spark为核心的大数据处理技术已经成为现代企业数据平台的标准。为应对业务用户对工作负载自助分析的期望，eBay大数据团队开发出一套面向管理员和业务用户的Workload Analytics System。

互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程，大数据学习群： 740041381就可以找到组织学习  欢迎进阶中和进想深入大数据的小伙伴加入

eBay一直倡导数据驱动业务。数据处理和分析的及时与深入与否，直接影响了业务的效益。因此，一站式的工作负载自助分析工具对数据处理工程师和平台的运维人员显得尤为重要。

 

“为什么处理作业要比平时运行得慢？”

“最近有哪些作业失败了？它们为什么失败？”

“哪个作业占用了平台最多的资源？”

”平台上是不是还能支撑更多的工作负载？“

 

这是数据处理工程师以及分析师和数据平台管理员之间经常发生的对话。我们亟需一个智能化的工作负载管理引擎提供自助分析体验使得管理员能轻松驾驭这些日常的问题，从而达到：

 

• 帮助用户更快地进行应用程序排错

• 对于应用程序的性能问题，可以很快给出有效建议

• 通过应用程序优化，提高集群的整体利用率

 

在一个多租户的Hadoop环境中，首要解决的问题是如何有效实现系统资源的隔离和共享，并能最大化利用系统的资源。在提供Workload Analytics System能力之前，我们尝试了其他各种方法来解决集群的性能问题，但终究无法让我们深入了解集群。Workload Analytics System为我们解决问题提供了详细的数据支撑，细粒度的作业、平台指标监控 - 给管理员、开发者、业务运维工程师提供近乎实时的平台运行洞察。

 

下面将从集群资源监控