从零开始学习Spark--第4章 Spark的各种运行方式

原创 2013年12月05日 12:03:05
1. 启动Hadoop
    cd /home/brian/usr/hadoop/hadoop-1.1.2
    #格式化NameNode
    ./bin/hadoop namenode -format
    #启动集群
    ./bin/start-all
    #将README.txt文件复制到HDFS以供测试
    ./bin/hadoop fs -put README.txt readme.txt


2. Spark在本地运行,单线程
2.1 启动:
    cd /home/brian/setup/spark-new/spark-0.8.0
    MASTER=local ./spark-shell
2.2 测试,执行如下命令:
    #从HDFS上读取文件
    val textFile = sc.textFile("readme.txt")
    #计算readme.txt的行数
    textFile.count()
    #取textFile的第一行
    textFile.first()


3. Spark在本地运行,4线程
    启动时候,执行的是
    MASTER=local[4] ./spark-shell
    其他所有流程都不变。


4. Spark运行在Standalone Mode
    4.1 关闭Hadoop
    4.2 启动节点:
        #更改目录
        cd/home/brian/setup/spark-new/spark-0.8.0
#启动master
./bin/start-master.sh
    4.3 启动时候,回提示输出的log文件,tail一下,可以看到Ui Web的地址,是http://brian-i3.local:8080/,在这里能看到spark的URL:spark://brian-i3:7077。
    4.4 启动一个worker:
        ./spark-class org.apache.spark.deploy.worker.Worker spark://brian-i3:7077
        启动之后,在http://brian-i3.local:8080/会看到这个worker的数据。
    4.5 在集群上执行spark-shell
MASTER=spark://brian-i3:7077 ./spark-shell
        这时候,在http://brian-i3.local:8080/的Running Application栏看到spark-shell。
    4.5 执行一个简单命令:
        val bcv = sc.broadcast(Array(1,2,3))
        bcv.value
    4.6 关闭spark-shell:执行^+c即可。
    4.7 关闭Spark集群:./bin/stop-master.sh


5. 以脚本的方式启动Spark集群
    5.1 在spark安装目录的conf/spark-env.sh里添加如下一行:
    JAVA_HOME=/usr/local/lib/jdk1.7.0_45   
    5.2 启动Spark集群:
        ./bin/start-all.sh
    5.3 在http://localhost:8080可以看到集群的启动状况。


6. Spark运行在YARN和Mesos。  

相关文章推荐

从零开始学习,Apache Spark源码走读(一)

概要 本文以wordCount为例,详细说明Spark创建和运行job的过程,重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前,确保下列条件已满足。 下载spark binary ...

从零开始学习Spark--第1章 安装和测试

spark 安装 0.8 版本 操作系统Ubuntu 10.04,已经安装JDK 1.7。 1. 下载spark代码 http://spark.incubator.apache.org/dow...

Spark2.x学习笔记:4、Spark程序架构与运行模式

第4章 Spark程序架构与运行模式4.1 Spark程序最简架构所有的Spark程序运行时,主要由两大类组件Driver和Excutor构成。 每个Spark程序运行时都有一个Driver,Driv...

从零开始学习Hadoop--第4章 序列化

1. 序列化从头说 在面向对象程序设计中,类是个很重要的概念。所谓“类”,可以将它想像成建筑图纸,而对象就是根据图纸盖的大楼。类,规定了对象的一切。根据建筑图纸造房子,盖出来的就是大楼,等同于将...

SPARK单机模式搭建(从零开始)

因为是从零开始,所以本文将spark部署成单机模式,并且有些文件放到home的个人目录中,不过看下设置的环境变量的就可以知道,这些文件放那里其实是无所谓的服务器环境为cenos,并且JDK已经正确安装...

从零开始,手把手教会你5分钟用SPARK对PM2.5数据进行分析

要从零开始,五分钟做完一个基于SPARK的PM2.5分析项目,你是不是会问 1. PM2.5的数据在哪里? 2. SPARK的环境哪儿有? 3. 程序怎么编? 不用急,跟着我做,5分钟就可以从零开始完...

Spark从零开始学 三

spark 函数api

Spark从零开始

Spark简介Spark是一个快速且通用的集群计算机平台。快速1.Spark扩充了流行的Mapreduce计算机模型2.Spark是基于内存的计算通用Spark的设计容纳了其他分布式系统拥有的功能批处...

从零开始学习Spark--第3章 spark的example

1. 计算Pi值 1.1 命令行: #spark安装在/home/brian/setup/spark-new/spark-0.8.0目录 cd /home/brian/setup/spark-...

从零开始学习Spark--第2章 spark开发

1. 主要参考资料 http://spark.incubator.apache.org/docs/latest/scala-programming-guide.html http://www.ee...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:从零开始学习Spark--第4章 Spark的各种运行方式
举报原因:
原因补充:

(最多只允许输入30个字)