![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据运维之spark日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
spark-sql手动动态指定控制台输出日志级别
转载来自:https://blog.csdn.net/xueba207/article/details/50436684/搜了很多,还是这个靠谱,记录下(1)首先配置好spark,hadoop,hive的权限,然后来到A用户,配置好环境变量(2)把spark/conf/log4j.properties.template 复制到A用户家目录(改名为log4j.properties),修改...转载 2018-08-08 15:02:18 · 2935 阅读 · 0 评论 -
Spark 算子aggregateByKey理解
前言:看了一大堆网上的介绍没看明白aggregateByKey到底啥意思,自己琢磨半天,感觉知道到底如何用了,特意写出来分享下。准备:用java写aggregateByKey,这样好理解一点算子释义:aggregateByKey, 先说分为三个参数的:第一个参数是, 每个key的初始值第二个是个函数, Seq Function, 经测试这个函数就是用来先对每个分区内的数据按...原创 2018-09-13 18:59:18 · 10388 阅读 · 9 评论 -
spark executo-memory最大限制点
转载来自:https://www.jianshu.com/p/391f8776e66f重点:(1)executorMem = args.executorMemory + executorMemoryOverhead < yarn.scheduler.maximum-allocation-mb (2)这里还有一点需要注意,executor-memory设置的是exec...转载 2019-02-25 11:39:47 · 1050 阅读 · 0 评论 -
spark 客户端注意事项
1.防火墙,selinux必须关闭2.本节点必须有集群所有节点3.集群必须有客户端节点,不然yarn-client模式无法跑通4.有队列需要指定队列,注意队列对用户的限制...原创 2019-04-11 17:20:05 · 270 阅读 · 0 评论 -
Spark2.0 监控界面报错javax.servlet.http.HttpServletRequest.isAsyncStarted()Z
转载来自:https://blog.csdn.net/ainidong2005/article/details/530889571.报错信息如下所示:java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncStarted()Zat org.spark_project.jetty.servlets....转载 2018-07-19 14:22:36 · 1692 阅读 · 0 评论 -
spark无法查看stdout:hadoop about "Container does not exist."
转载来自:https://blog.csdn.net/stark_summer/article/details/47616773场景描述:hadoop集群中正在运行的任务,点击“application_1438756578740_5947”链接,然后能看到ApplicationMaters信息,有N个Node节点在运行,然后点击任一个Node的logs链接,会报错如下:“Container...转载 2018-07-24 09:52:22 · 684 阅读 · 0 评论 -
Spark配置JobHistory
转载来自公司内部人士的文档在spark-defaults.conf里面添加如下:spark.eventLog.enabled truespark.eventLog.dir hdfs://192.168.1.2:8020/SparkeventLogspark.history.fs.logDirectory hdfs://192.168.1.2:8020/SparkeventLog...转载 2018-07-18 14:58:37 · 1250 阅读 · 0 评论 -
spark2.0.1ConcurrentModificationException
ERROR LiveListenerBus: Listener EventLoggingListener threw an exception原创 2017年08月11日 13:31:21标签:spark /LiveListen476在集群上跑任务的时候,有时会出现这个 ERROR LiveListenerBus: Listener Ev转载 2018-01-12 20:15:21 · 695 阅读 · 0 评论 -
spark-submit参数释义
转载来自:http://blog.csdn.net/u013063153/article/details/73384770本章节将介绍如何在 E-MapReduce 场景下设置 spark-submit 的参数。集群配置软件配置E-MapReduce 产品版本 1.1.0Hadoop 2.6.0Spark 1.6.0硬件配转载 2018-01-22 15:43:35 · 248 阅读 · 0 评论 -
Spark的性能调优
转载来自:http://www.raychase.net/3546Spark的性能调优下面这些关于Spark的性能调优项,有的是来自官方的,有的是来自别的的工程师,有的则是我自己总结的。基本概念和原则首先,要搞清楚Spark的几个基本概念和原则,否则系统的性能调优无从谈起:每一台host上面可以并行N个worker,每一个work转载 2018-01-23 11:48:13 · 194 阅读 · 0 评论 -
spark性能调优之提高并行度
转载来自:http://blog.csdn.net/hutao_hadoop/article/details/52693856并行度就是Spark作业中,各个stage的task数量,也就代表了Spark作业的在各个阶段(stage)的并行度。如果不调节并行度,导致并行度过低,会怎么样?假设,现在已经在spark-submit脚本里面,给我们的spark作业分配了足够多转载 2018-01-23 13:13:30 · 460 阅读 · 0 评论 -
Spark数据本地化及如何达到性能调优的目的
转载来自:https://www.cnblogs.com/jxhd1/p/6702224.html?utm_source=itdadao&utm_medium=referralSpark数据本地化-->如何达到性能调优的目的1.Spark数据的本地化:移动计算,而不是移动数据2.Spark中的数据本地化级别:TaskSetManager 的 Locality Levels 分为以下五个级别:PRO转载 2018-01-12 17:49:55 · 639 阅读 · 0 评论 -
手把手教你 Spark 性能调优
转载来自:http://www.importnew.com/26541.html注:--num_executors的数量+1(ApplicationMaster)就是yarn web界面上container的数量注:如果container的数量不对,那么有两种解决办法:(1)降低executor_memory的大小(2)降低executor_cores的大小注:如果yarn界面Vused core转载 2018-01-04 17:05:02 · 2320 阅读 · 0 评论 -
YARN, MR History Server和Spark History Server
转载来自:http://blog.csdn.net/cymvp/article/details/52090348YARN, MR History Server和Spark History Server三者的区别:今天听到有人说, "Yarn自带的History Server"如何如何之类的。看来还有很多人把history server当做是为YARN的应用提供服务的功能。所转载 2018-01-20 10:58:44 · 1272 阅读 · 0 评论 -
Spark节点失效恢复
转载来自:忘了,后来自己修修改改,也就没留意,从哪转的了,抱歉了。一:配置Spark的HA集群:10.162.0.101 主master 10.162.2.21 备master 10.162.2.39 Worker 10.162.2.109 Worker 10.162.2.122 Worker 1.1、每个结点添加如下配置首先配置spark-en...转载 2018-03-01 11:22:33 · 1810 阅读 · 0 评论 -
spark executor-cores参数并未对vcores生效的原因分析
转载来自:http://blog.csdn.net/rongyongfeikai2/article/details/53187421 虽然目前大多数平台内置Application在提交时,只配置了–num-executors和–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。举个例子:./spark-submit –ma...转载 2018-01-03 17:39:15 · 1272 阅读 · 0 评论