![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
张超_
这个作者很懒,什么都没留下…
展开
-
一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了
1. 提交spark作业到yarn,采用client模式的时候作业可以运行,但是采用cluster模式的时候作业会一直初一accept状态。背景:这个测试环境的资源比较小,提交作业后一直处于accept状态,所以把作业的配置也设置的小。submit 语句:spark-submit \spark-submit \--class a.kafka_streaming.KafkaConsu...原创 2018-03-13 10:57:53 · 13262 阅读 · 4 评论 -
非常厉害的blog
一: 实践性很强的博客https://www.jianshu.com/u/689be58a4c70https://www.cnblogs.com/ranjiewen/articles/6883723.html一: 有用的社区https://cloud.tencent.com/developer/article/1014921http://www.apachecn.org/https://githu...原创 2018-03-13 17:18:59 · 176 阅读 · 0 评论 -
如何优雅的停止Spark Streaming 作业 -----非手动
#一 网上也有停止SparkStreaming作业的方法,但是都不够优雅,不能够从程序内部实现停止SparkStreaming作业。我来介绍一种优雅的方式。##1:思路 1: 程序出现异常后打一个标记,标记存放在可靠的外部系统如hdfs、redis等。2:Driver 不断重复扫描标记,判断是否需要停止作业。3: 把ssc.awaitTermination() 替换为 ssc.awaitTermi...原创 2018-04-11 20:07:34 · 4153 阅读 · 0 评论 -
StructedStreaming Kafka 排错(AbstractCoordinator: Marking the coordinator *dead for grou
描述:这次要接收一个新业务的数据,这个数据已经用Flume采集到了kafka里,考虑后决定采用SparkStructedStreaming去接收数据,可是在接收过程中一直报一个错19/04/26 15:06:11 INFO AbstractCoordinator: Discovered coordinator hbase-single:9092 (id: 2147483647 rack: nu...原创 2019-04-26 15:27:54 · 5221 阅读 · 0 评论 -
Spark SQL too many elements for tuple: 25 (scala tuple超过默认22个元素)
背景:把一列的DataSet扩张到25列,就报了上面的错,也就是tuple超过了它默认允许的元素个数。/** // 方式一:使用普通方式转换,直接在mp函数类增加DataSet的列数。 这种方式使用的是Tuple()增加列** 结果:未通过 (现在的scala是2.11 ,2.12以上版本没有试)* */ def fun1(ds1: Dataset[String],spark: ...原创 2019-05-03 10:23:14 · 4318 阅读 · 0 评论 -
Spark Thrift Server 解放数据开发,开发计算资源的里利器
0x001 Spark Thrift Server 是什么 Spark Thrift Server 是一个jdbc和odbc服务,底层依赖的是hive Server2。0X002 Spark Thrift Sever 带来的价值现在部分公司情况, 大数据部门更像是一个报表开发部门,日常工作就是开发报表,一个完了接着下一个。整个模式的架构如下: 关系数据库=》 大数据平台 =》关系数据库...原创 2019-05-24 12:00:34 · 806 阅读 · 0 评论 -
Structed Streaming 输出模式
# 由错误引起Complete output mode not supported when there are no streaming aggregations on streaming DataFrames/Datasets;;原创 2019-06-13 20:27:02 · 1405 阅读 · 0 评论 -
在Shell 中 Spark-SQL 的调试
对于熟悉Scala开发的人来说,对于spark-sql的使用,直接jar包中写入代码处理就能轻松实现动态语句的执行。但是对于我,不打算学习Scala和Java语言,但是又想定时执行时间推延的周期、定时任务,该肿么办?一 Spark-SQL 是什么1: Spark-SQL参见参数\-d:–define <key=value> 定义键值对:–database 定义使...原创 2019-09-11 16:57:35 · 1454 阅读 · 0 评论