spark
wjacketcn
这个作者很懒,什么都没留下…
展开
-
Spark on YARN两种运行模式
转自:http://www.aboutyun.com/thread-12294-1-1.html Spark在YARN中有yarn-cluster和yarn-client两种运行模式: I. Yarn Cluster Spark Driver首先作为一个ApplicationMaster在YARN集群中启动,客户端提交给ResourceManager的每一个job都会在集转载 2016-03-04 17:33:42 · 1077 阅读 · 0 评论 -
Spark on YARN集群模式作业运行全过程分析
转自:http://www.iteblog.com/archives/1189 下面是分析Spark on YARN的Cluster模式,从用户提交作业到作业运行结束整个运行期间的过程分析。 客户端进行操作 1、根据yarnConf来初始化yarnClient,并启动yarnClient 2、创建客户端Application,并获取Application转载 2016-03-07 09:36:34 · 1236 阅读 · 0 评论 -
Spark on YARN客户端模式作业运行全过程分析
转自:http://www.iteblog.com/archives/1191 在前篇文章中我介绍了Spark on YARN集群模式(yarn-cluster)作业从提交到运行整个过程的情况(详情见《Spark on YARN集群模式作业运行全过程分析》),我们知道Spark on yarn有两种模式:yarn-cluster和yarn-client。这两种模式作业虽然转载 2016-03-07 09:45:17 · 1293 阅读 · 0 评论 -
SparkStreaming+Zookeeper+Kafka入门程序
原文链接:http://www.jianshu.com/p/5606253f4495 准备工作: 安装 spark安装 zookeeper安装 kafka 开始工作 1. 启动zookeeper 打开终端,切换到 zookeeper HOME 目录, 进入conf文件夹,拷贝一份 zoo_sample.cfg 副本并重命名为 zoo.cfg 切换到上级的bin目录中,执行转载 2016-03-21 10:47:38 · 535 阅读 · 0 评论 -
Spark Streaming + Flume Integration Guide
Spark Streaming + Flume Integration Guide Apache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Here we e翻译 2016-04-11 16:14:24 · 345 阅读 · 0 评论