A Vimer's World

Cogito, ergo sum.

Spark Streaming 基于Yarn集群提交任务疑惑

参考项目: https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任务依赖包问题? 使用Spark打jar包是个比较头疼的问题: * 不能包冗余的依赖(比如hadoop/hbase)放到jar包里,有可能导致运行环境污染; * ...

2018-05-17 10:52:29

阅读数 436

评论数 0

Spark支持kerberos环境下的Kafka、Hbase传输

一、准备环境: 创建Kafka Topic和HBase表 1. 在kerberos环境下创建Kafka Topic 1.1 因为kafka默认使用的协议为PLAINTEXT,在kerberos环境下需要变更其通信协议: 在${KAFKA_HOME}/config/producer.prop...

2018-05-14 19:46:32

阅读数 851

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭