![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark交流
seagle01
毕业于职业技术学校(高等专科学校)。10+年工作经验
展开
-
spark graphx 连通图子图顶点数量计算
spark graphx 各个连通子图顶点大小计算原创 2022-05-26 20:18:06 · 710 阅读 · 0 评论 -
spark部署模式
spark部署模式常见的部署方式:本地部署:本地集群部署:Standalone部署:other部署:部署模式设计的组件:Application:用户使用Spark API开发的应用程序Driver:应用驱动程序。有了Driver,APplication才会被提交到Spark集群运行。Master:Spark的主控节点。Worker:Spark的工作节点,向Master汇报自身资源、Executor执行状态的改变,并接受Master的命令启动Executor或者Driver。Ex原创 2020-05-26 11:17:05 · 220 阅读 · 0 评论 -
spark心跳接收器HeartbeatReceiver
HeartbeatReceiver运行在Driver上,用于接收各个Executor的心跳消息,对各个Executor的生死进行监控。原创 2020-05-26 10:53:16 · 958 阅读 · 0 评论 -
Spark调优 | Spark SQL参数调优
前言Spark SQL里面有很多的参数,而且这些参数在Spark官网中没有明确的解释,可能是太多了吧,可以通过在spark-sql中使用set -v 命令显示当前spark-sql版本支持的参数。本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。内容分为两部分,第一部分讲遇到异常,从而需要通过设置参数来解决的调优;第二部分讲用于提升性能而进行的调优。异常调优...转载 2019-07-26 09:45:29 · 28216 阅读 · 0 评论 -
ambari 安装及使用过程中,遇见的问题及解决方案
yarn的rest api 提交时出现的错误及解决方案环境配置通过yarn rest方式,提交application环境配置基于ambari 2.7 安装的hdp集群hadoop 3.1.1yarn 3.1.1spark2 2.3.2通过yarn rest方式,提交applicationcurl -X POST http://localhost:8088/ws...原创 2019-01-23 10:15:04 · 1323 阅读 · 4 评论 -
spark2.0 升级至spark2.3时代码问题
将 spark 从 2.0升级到2.3 过程中,出现无法识别找到表问题,后经过排查,是由于代码中 出现了 new sparkContext()原因导致 错误如下I0828 18:05:25.272563 134 sched.cpp:743] Framework registered with 33c370c3-d41c-43aa-92b2-d43280ae9a32-1687-driv...原创 2018-08-29 10:14:58 · 1050 阅读 · 0 评论 -
hbase 测试注意事项
开发过程中,数次遇见hbase连接问题,通常情况下就是无任何异常,程序却被阻塞掉。 表面上看好像程序挂掉,不再运行,就是没有异常信息。通常情况下原因是创建hbase连接时,几乎完全使用hbase默认配置信息。 hbase默认超时时间都非常长,其中rpc的超时默认为60秒, 默认连接次数为35+1次。也就意味着每次测试,大概需要40分钟。我们往往没有耐心用这么长时间测试,就已经认为程序出...原创 2018-07-31 11:02:44 · 455 阅读 · 0 评论 -
hive on spark 遇到的坑
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔,免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下,这里说的Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。先看官网的资源Hive on Spark: Getting Started要想在Hive中使转载 2017-07-06 10:53:00 · 8983 阅读 · 0 评论 -
基于mesos集群中spark是如何提交任务的
基于mesos的spark集群中,spark是如何提交任务的原创 2017-05-01 09:35:39 · 1414 阅读 · 0 评论 -
spark 读取hbase数据并转化为dataFrame
spark 的应用原来越广泛,而且hbase的最新代码也开始加入了hbase-spark模块,但是发行版本并未提供spark api。为了方面程序处理,故写了一个demo。用于处理spark中获取hbase的数据,并将获取到的数据转化为dataframe原创 2016-07-12 18:02:06 · 9850 阅读 · 8 评论