关闭

从零开始学习Spark--第4章 Spark的各种运行方式

标签: 大数据scalaspark
4777人阅读 评论(0) 收藏 举报
分类:
1. 启动Hadoop
    cd /home/brian/usr/hadoop/hadoop-1.1.2
    #格式化NameNode
    ./bin/hadoop namenode -format
    #启动集群
    ./bin/start-all
    #将README.txt文件复制到HDFS以供测试
    ./bin/hadoop fs -put README.txt readme.txt


2. Spark在本地运行,单线程
2.1 启动:
    cd /home/brian/setup/spark-new/spark-0.8.0
    MASTER=local ./spark-shell
2.2 测试,执行如下命令:
    #从HDFS上读取文件
    val textFile = sc.textFile("readme.txt")
    #计算readme.txt的行数
    textFile.count()
    #取textFile的第一行
    textFile.first()


3. Spark在本地运行,4线程
    启动时候,执行的是
    MASTER=local[4] ./spark-shell
    其他所有流程都不变。


4. Spark运行在Standalone Mode
    4.1 关闭Hadoop
    4.2 启动节点:
        #更改目录
        cd/home/brian/setup/spark-new/spark-0.8.0
#启动master
./bin/start-master.sh
    4.3 启动时候,回提示输出的log文件,tail一下,可以看到Ui Web的地址,是http://brian-i3.local:8080/,在这里能看到spark的URL:spark://brian-i3:7077。
    4.4 启动一个worker:
        ./spark-class org.apache.spark.deploy.worker.Worker spark://brian-i3:7077
        启动之后,在http://brian-i3.local:8080/会看到这个worker的数据。
    4.5 在集群上执行spark-shell
MASTER=spark://brian-i3:7077 ./spark-shell
        这时候,在http://brian-i3.local:8080/的Running Application栏看到spark-shell。
    4.5 执行一个简单命令:
        val bcv = sc.broadcast(Array(1,2,3))
        bcv.value
    4.6 关闭spark-shell:执行^+c即可。
    4.7 关闭Spark集群:./bin/stop-master.sh


5. 以脚本的方式启动Spark集群
    5.1 在spark安装目录的conf/spark-env.sh里添加如下一行:
    JAVA_HOME=/usr/local/lib/jdk1.7.0_45   
    5.2 启动Spark集群:
        ./bin/start-all.sh
    5.3 在http://localhost:8080可以看到集群的启动状况。


6. Spark运行在YARN和Mesos。  
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:189423次
    • 积分:3805
    • 等级:
    • 排名:第8419名
    • 原创:199篇
    • 转载:1篇
    • 译文:0篇
    • 评论:51条