![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 52
Cherish_the_Love
这个作者很懒,什么都没留下…
展开
-
spark-submit提交参数设置
spark-submit提交参数设置 /apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app/apache-hive-1.2.1-bin/conf/hive-si转载 2017-05-09 18:40:39 · 1269 阅读 · 0 评论 -
SparkContext源码解读
SparkContext的初始化SparkContext是应用启动时创建的Spark上下文对象,是进行Spark应用开发的主要接口,是Spark上层应用与底层实现的中转站(SparkContext负责给executors发送task)。SparkContext在初始化过程中,主要涉及一下内容:SparkEnvDAGSchedulerTaskSchedulerSchedule转载 2017-06-10 16:11:55 · 1395 阅读 · 0 评论 -
"Spark Streaming + Kafka direct + checkpoints + 代码改变" 引发的问题(一)
一、基础内容Spark Streaming 从Kafka中接收数据,其有两种方法:(1)、使用Receivers和Kafka高层次的API;(2)、使用 Direct API,这是使用低层次的Kafka API,并没有使用到Receivers,是Spark1.3.0中开始引入。由于本篇文章使用的是第二种 Direct API 方式,所以对其进行简单的介绍一下:其会定期地从 Kafk转载 2017-11-07 11:04:26 · 354 阅读 · 0 评论 -
将 Spark Streaming + Kafka direct 的 offset 保存进入Zookeeper(二)
在上一遍《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的问题》中说到,当时是将 topic 的 partition 的 offset 保存到了 MySQL 数据库中,其存在一个问题,就是无法在现有的监控工具中进行体现(如:Kafka Manager)。那我们现在就来将此offset保存到zookeeper中,从而使用监控工具发转载 2017-11-07 11:07:32 · 466 阅读 · 0 评论 -
Spark Streaming + Kafka direct 从Zookeeper中恢复offset(三)
在上一遍《将 Spark Streaming + Kafka direct 的 offset 保存进入Zookeeper》中,我们已经成功的将 topic 的 partition 的 offset 保存到了 Zookeeper中,使监控工具发挥了其监控效果。那现在是时候来处理《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的转载 2017-11-07 11:10:26 · 387 阅读 · 0 评论