集群启动快速指南

【启动】

【0】配置hosts

   
   
vim /etc/hosts

同步hosts

   
   
scp /etc/hosts root@Worker1:/etc/hosts

【1】启动HDFS

   
   
cd /usr/local/hadoop/hadoop-2.6.0/sbin/

   
   
./start-dfs.sh

我们通过http://master:50070（50070为默认端口）查看datanode 的信息

启动Hadoop的资源管理框架Yarn

   
   
./start-yarn.sh 

打开浏览器输入http://master:8088 查看Yarn的状态

通过以上测试和运行 目前HDFS和Yarn配置正确并且运行良好，确保以上配置完全正确之后在此基础上配置spark。

【2】启动Spark

   
   
cd /usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin/
./start-all.sh
   
   

    
    

   
   

打开浏览器访问      http://master:8080   查看spark控制台；

启动日志来记录spark集群运行的每一步信息

访问http://master:18080查看 historyServer的控制台

【3】启动spark-shell终端

进入bin目录

   
   
cd ..
./spark-shell --master spark://Master:7077

【4】关闭！！！！

关闭Spark

   
   
cd /usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin/
./stop-all.sh

关闭Hadoop

   
   
cd /usr/local/hadoop/hadoop-2.6.0/sbin/
./stop-all.sh

总结：

cd /usr/local/hadoop/hadoop-2.6.0/sbin/

./start-dfs.sh

./start-yarn.sh

cd /usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin/

./start-all.sh

./start-history-server.sh

cd /usr/local/spark/spark-1.6.0-bin-hadoop2.6/bin/

cd ../bin

./spark-shell --master spark://Master:7077

【hosts文件的scp】

vim /etc/hosts

scp /etc/hosts root@Worker1:/etc/hosts

【在hdfs上创建目录】

hadoop dfs -mkdir -p /library/SparkSQL/Data 

hdfs dfs -ls /library/SparkSQL/Data

spark-submit --class com.dt.spark.MySparkApps.Streaming.SparkStreamingOnHDFS --master spark://Master:7077 /root/Documents/SparkApps/SparkApps-0.0.1-SNAPSHOT-jar-with-dependencies.jar

【注册hive仓库】

启动Hive数据仓库服务：hive --service metastore >metastore.log 2>& 1&

./hive --service metastore &

./hive --service hiveserver &

nohup 后台启动。

nohup hive--service metastore > metastore.log 2>&1 & jobs

【启动mysql服务】

启动：

   
   
service mysql start

【检查】 mysql服务是否开启

【重启】

关闭：net stop mysql

进入mysql交互：

   
   
mysql -u root -p
show databases

conf.setMaster("spark://Master:7077")

启动Zookeeper+Kafka（都是3个节点Master，Worker1，Worker2）

1.分别进入三台机器，进入Zookeeper目录，并启动。

   
   
./zkServer.sh start    开启
./zkServer.sh status    检查状态

2.启动Kafka 比较复杂！

2.1在每台机器上 启动kafka服务！

   
   
cd $KAFKA_HOME/bin
kafka-server-start.sh ../config/server.properties &

2. create 创建一个topic！

   
   
kafka-topics.sh --create --zookeeper Master:2181,Worker1:2181 --replication-factor 2 --partitions 1 --topic HelloKafka

3. producer 生产！

   
   
kafka-console-producer.sh --broker-list Master:9092, Worker1:9092 --topic HelloKafka

4. consumer 消费！

   
   
kafka-console-consumer.sh --zookeeper Master:2181, Worker1:2181 --from-beginning --topic HelloKafka