spark
文章平均质量分 64
sh0308
这个作者很懒,什么都没留下…
展开
-
Spark 优化
本文转自:https://blog.csdn.net/ainidong2005/article/details/53141822 目录 1、引言 2、数据序列化 3、内存优化 4、其他建议 官网地址:http://spark.apache.org/docs/latest/tuning.html 1、引言 提到Spark与Hadoop的区别,基本最常说的就是Spark采用基于内...转载 2018-08-13 19:43:50 · 172 阅读 · 0 评论 -
Spark写ES的遇到的坑
本文转自:https://blog.csdn.net/u013709270/article/details/70132756完整的项目:https://github.com/JeemyJohn/SparkToEs.git 由于项目需要,最近搞Spark Streaming做数据分析,并最终将分析完的数据写入ElasticSearch。我们项目使用的是Spark 2.1.0,而我们公...转载 2018-04-19 11:22:41 · 2701 阅读 · 1 评论 -
sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法
问题描述:开发环境为spark2.0 + kafka0.8,spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误: 18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - j...原创 2018-02-27 23:03:35 · 2345 阅读 · 1 评论 -
spark 应用程序性能优化|12 个优化方法
原文:http://litaotao.github.io/boost-spark-application-performance 写在前面 本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了转载 2017-09-29 23:12:27 · 557 阅读 · 0 评论 -
Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
原文链接:http://blog.csdn.net/edin_blackpoint/article/details/72638015 Q: Spark使用databricks进行csv文件读取的时候报错java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat,找不到对应的CSVFormat类. A: 根据kevin转载 2017-09-21 15:32:08 · 997 阅读 · 0 评论 -
Spark性能优化指南——高级篇
文章转自:http://tech.meituan.com/spark-tuning-pro.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手转载 2017-06-01 13:15:26 · 431 阅读 · 0 评论 -
Spark性能优化指南——基础篇
前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速转载 2017-05-19 12:56:08 · 302 阅读 · 0 评论 -
spark on yarn运行产生缺jar包错误及解决办法
1.问题描述: 使用spark 集成elasticSearch时,--jars 来添加依赖的jar包,使用local模式程序正常,使用yarn模式时会出现找不到jar包的情况。 报错信息如下: 1.java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecuto原创 2017-05-05 23:21:44 · 3891 阅读 · 1 评论 -
解决"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2"
目录 问题描述: 问题原因: 解决方法: 问题描述: 开发环境为spark2.0 运行sparksql时发生如下错误: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2 at com.fasterxml.jac...原创 2019-04-24 16:28:25 · 2762 阅读 · 0 评论