spark集群从HDFS中读取数据并计算

一、             利用spark从hadoop的hdfs中读取数据并计算

1.1准备阶段

部署好hadoop分布式搭建（+zookeeper，6台机器）可以参考这篇博客：http://blog.csdn.net/vinsuan1993/article/details/70155112

 

主机名	IP	安装的程序	运行的进程
Heres01	192.168.2.108	jdk、hadoop、zookeeper、spark	DataNode JournalNode Master QuorumPeerMain NodeManager
Heres02	192.168.2.99	jdk、hadoop、zookeeper、spark	DataNode JournalNode Worker QuorumPeerMain NodeManager
Heres03	192.168.2.109	jdk、hadoop、zookeeper、spark	DataNode JournalNode Worker QuorumPeerMain NodeManager
Heres04	192.168.2.113	jdk、hadoop	ResourceManager
Heres05	192.168.2.112	jdk、hadoop	DFSZKFailoverController  NameNode
Heres06	192.168.2.110	jdk、hadoop	DFSZKFailoverController     NameNode

部署好spark集群，可以参考这篇博客：http://blog.csdn.net/vinsuan1993/article/details/75578441

1.2启动hdfs

1.2.1启动zookeeper集群（分别在heres01、heres02、heres03上启动zk）

cd/heres/zookeeper-3.4.5/bin/

./zkServer.shstart

#查看状态：一个leader，两个follower

./zkServer.shstatus

 

1.2.2启动journalnode（在heres01上启动所有journalnode，注意：是调用的hadoop-daemons.sh这个脚本，注意是复数s的那个脚本）

cd/heres/hadoop-2.2.0

sbin/hadoop-daemons.shstart journalnode

#运行jps命令检验，heres01、heres02、heres03上多了JournalNode进程

 

 

1.2.3启动HDFS(在heres01上执行)

sbin/start-dfs.sh

 

到此，hadoop2.2.0配置完毕，可以通过浏览器访问:

http://192.168.2.110:50070

NameNode'heres06:9000' (active)

http://192.168.2.112:50070

NameNode 'heres05:9000' (standby)

1.3.启动spark集群

/bigdata/spark-1.6.1-bin-hadoop2.6/sbin/start-all.sh

1.4.启动spark-shell

bin/spark-shell --masterspark://heres01:7077 --executor-memory 512m --total-executor-cores 2

注：“-”前面是没有空格的，否则会报错

1.5.上传文件到hdfs上

hdfs dfs-mkdir /wc

dfs dfs -ls  /

hdfs dfs-put words.txt /wc/1.log

hdfs dfs-put words.txt /wc/2.log

hdfs dfs -put words.txt /wc/3.log

1.6.在spark-shell中编写spark程序

sc.textFile("hdfs://heres06:9000/wc").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect

sc.textFile("hdfs://heres06:9000/wc").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://heres06:9000/vinout")

结果会生成三个文件

sc.textFile("hdfs://heres06:9000/wc").flatMap(_.split("")).map((_,1)).reduceByKey(_+_,1).sortBy(_._2,false).saveAsTextFile("hdfs://heres06:9000/vinout1")

结果会生成一个文件