大数据各软件框架启动命令行

各个软件服务的启动命令：storm，Kafka，hive，hbase，azkaban，flume，spark，hadoop，sqoop

A：Storm启动：

先在每台机器上启动zookeeper：zkServer.sh start

①server----->:  nohup ./storm nimbus &                  主节点启动nimbus

②server,server02.server03----->:  nohup ./storm supervisor &     三个子节点启动 supervisor

③server----->:  nohup ./storm ui &  主节点启动web UI界面      http://server:8080  打开ui查看

B：Kafka后台启动：

先在每台机器上启动zookeeper：zkServer.sh start

每台机器：nohup bin/kafka-server-start.sh config/server.properties &

在主机查看生产的内容：bin/kafka-console-consumer.sh --zookeeper server:2181 --topic ccc

启动

/bin/kafka-server-start.sh  config/server.properties > /dev/null 2>&1 &

停止

bin/kafka-server-stop.sh

创建topic

bin/kafka-topics.sh --create --zookeeper server:2181 --replication-factor 3 --partitions 3 --topic test

列出所有topic

bin/kafka-topics.sh --list --zookeeper server:2181

向topic中写入数据

bin/kafka-console-producer.sh --broker-list server:9092 --topic test

消费数据

bin/kafka-console-consumer.sh --zookeeper server:2181 --topic test --from-beginning

查看指定topic的详情

bin/kafka-topics.sh --describe --zookeeper server:2181 --topic test

C：Hive启动：

1）hive---->bin/hive

2）Hive的多客户端登陆，新建一个连接server的客户端。

① ./hiveserver2;

②./beeline;

③输入 !connect jdbc:hive2://localhost:10000;

④输入用户名hadoop ,密码回车即可。

D：Hbase启动命令

进程：jps

进入hbase的shell：hbase shell

退出hbase的shell：quit

页面：http://master:16010/

E：Azkaban启动命令

web服务

在azkaban web服务器目录下执行启动命令

bin/azkaban-web-start.sh

注:在web服务器根目录运行

或者启动到后台

nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &

执行服务

在执行服务器目录下执行启动命令

bin/azkaban-executor-start.sh

注:只能要执行服务器根目录运行 

执行以上两句即可启动，可以回车自动切到后台。

启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://server:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码admin,admin,点击 login.

F：Flume启动命令

bin/flume-ng agent -c ./conf -f ./conf/spooldir-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

G：spark启动流程

sbin/start-all.sh   ->  start-master.sh   -> start-slaves.sh

spark提交任务的过程

bin/spark-submit --class cn.itcast.spark.WordCount  --master spark://node-1.itcast.cn:7077 --executor-memory 2g --total-executor-cores 4

spark-sql:启动命令---- ./spark-sql  --master spark://server:7077 --driver-class-path /home/hadoop/apps/hive/lib/mysql-connector-java-5.1.34.jar

备注：spark-sql里不能创建table，其他都可以。出现字符集问题。hive中字符集没问题都可以操作。估计是同一种字符集不能同时被两种软件兼容

启动spark-shell：

apps/spark/bin/spark-shell

H：Hadoop

start-all.sh 启动hdfs和yarn

stop-all.sh 关闭hdfs和yarn

I：Sqoop

从本地mysql数据库导入Hive

bin/sqoop import --connect jdbc:mysql://server:3306/test --username root --password root

--table emp --hive-import --m 1

从本地mysql数据库导入Hdfs

bin/sqoop import  --connect jdbc:mysql://server:3306/test  \

--username root  \

--password root  \

--table emp  \

--target-dir /queryresult \          #指定目录

--m 1 

把HDFS 中“EMP/”目录的数据导入到本地数据库

bin/sqoop export \

--connect jdbc:mysql://server:3306/test \

--username root \

--password root \

--table employee \

--export-dir /user/hadoop/emp/