![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
wjacketcn
这个作者很懒,什么都没留下…
展开
-
Spark on YARN两种运行模式
转自:http://www.aboutyun.com/thread-12294-1-1.htmlSpark在YARN中有yarn-cluster和yarn-client两种运行模式:I. Yarn ClusterSpark Driver首先作为一个ApplicationMaster在YARN集群中启动,客户端提交给ResourceManager的每一个job都会在集转载 2016-03-04 17:33:42 · 1075 阅读 · 0 评论 -
Spark on YARN集群模式作业运行全过程分析
转自:http://www.iteblog.com/archives/1189 下面是分析Spark on YARN的Cluster模式,从用户提交作业到作业运行结束整个运行期间的过程分析。客户端进行操作 1、根据yarnConf来初始化yarnClient,并启动yarnClient 2、创建客户端Application,并获取Application转载 2016-03-07 09:36:34 · 1232 阅读 · 0 评论 -
Spark on YARN客户端模式作业运行全过程分析
转自:http://www.iteblog.com/archives/1191 在前篇文章中我介绍了Spark on YARN集群模式(yarn-cluster)作业从提交到运行整个过程的情况(详情见《Spark on YARN集群模式作业运行全过程分析》),我们知道Spark on yarn有两种模式:yarn-cluster和yarn-client。这两种模式作业虽然转载 2016-03-07 09:45:17 · 1292 阅读 · 0 评论 -
SparkStreaming+Zookeeper+Kafka入门程序
原文链接:http://www.jianshu.com/p/5606253f4495准备工作:安装 spark安装 zookeeper安装 kafka开始工作1. 启动zookeeper打开终端,切换到 zookeeper HOME 目录, 进入conf文件夹,拷贝一份 zoo_sample.cfg 副本并重命名为zoo.cfg切换到上级的bin目录中,执行转载 2016-03-21 10:47:38 · 531 阅读 · 0 评论 -
Spark Streaming + Flume Integration Guide
Spark Streaming + Flume Integration GuideApache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Here we e翻译 2016-04-11 16:14:24 · 343 阅读 · 0 评论