![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
转载
十光年
这个作者很懒,什么都没留下…
展开
-
spark性能优化:数据倾斜调优
Spark数据倾斜调优 文章来源:http://blog.csdn.net/LW_GHY/article/details/51419877 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜转载 2017-02-07 17:57:38 · 232 阅读 · 0 评论 -
基于Spark的公安大数据实时运维技术实践
文章来源:https://www.iteblog.com/archives/1956.html 公安行业存在数以万计的前后端设备,前端设备包括相机、检测器及感应器,后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统,数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析的方式已不能满转载 2017-02-09 08:36:52 · 1011 阅读 · 0 评论 -
Spark性能优化指南——基础篇
Spark性能优化指南——基础篇 文章来源:http://tech.meituan.com/spark-tuning-basic.html 李雪蕤 ·2016-04-29 14:00 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应转载 2017-02-09 09:26:58 · 265 阅读 · 0 评论