雨果等夏天的博客

1. 提交spark作业到yarn，采用client模式的时候作业可以运行，但是采用cluster模式的时候作业会一直初一accept状态。背景：这个测试环境的资源比较小，提交作业后一直处于accept状态，所以把作业的配置也设置的小。submit 语句：spark-submit \spark-submit \--class a.kafka_streaming.KafkaConsu...

一： 实践性很强的博客https://www.jianshu.com/u/689be58a4c70https://www.cnblogs.com/ranjiewen/articles/6883723.html一: 有用的社区https://cloud.tencent.com/developer/article/1014921http://www.apachecn.org/https://githu...

#一 网上也有停止SparkStreaming作业的方法，但是都不够优雅，不能够从程序内部实现停止SparkStreaming作业。我来介绍一种优雅的方式。##1：思路 1： 程序出现异常后打一个标记，标记存放在可靠的外部系统如hdfs、redis等。2：Driver 不断重复扫描标记，判断是否需要停止作业。3： 把ssc.awaitTermination() 替换为 ssc.awaitTermi...

描述：这次要接收一个新业务的数据，这个数据已经用Flume采集到了kafka里，考虑后决定采用SparkStructedStreaming去接收数据，可是在接收过程中一直报一个错19/04/26 15:06:11 INFO AbstractCoordinator: Discovered coordinator hbase-single:9092 (id: 2147483647 rack: nu...

背景：把一列的DataSet扩张到25列，就报了上面的错，也就是tuple超过了它默认允许的元素个数。/** // 方式一：使用普通方式转换，直接在mp函数类增加DataSet的列数。 这种方式使用的是Tuple()增加列** 结果：未通过 （现在的scala是2.11 ，2.12以上版本没有试）* */ def fun1(ds1: Dataset[String],spark: ...

0x001 Spark Thrift Server 是什么 Spark Thrift Server 是一个jdbc和odbc服务，底层依赖的是hive Server2。0X002 Spark Thrift Sever 带来的价值现在部分公司情况， 大数据部门更像是一个报表开发部门，日常工作就是开发报表，一个完了接着下一个。整个模式的架构如下： 关系数据库=》 大数据平台 =》关系数据库...

# 由错误引起Complete output mode not supported when there are no streaming aggregations on streaming DataFrames/Datasets;;

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？一 Spark-SQL 是什么1: Spark-SQL参见参数\-d：–define <key=value> 定义键值对：–database 定义使...