hadoop和spark等启动指令

1 hadoop启动指令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程
mr-jobhistory-daemon.sh start historyserver 查看历史任务
2 查看端口占用

lsof -i:80

netstat -nltcp | grep 80

3 mysql启动指令(nginx httpd启动命令一样)

service mysqld start   启动
service mysqld stop    停止
service mysqld restart 重启
mysql -u root -p       进入客户端

4 hive启动指令

先启动mysql

输入hive启动并进入客户端

5 zookeeper启动命令

zkServer.sh start 启动
zkServer.sh stop  停止
zkCli.sh          进入客户端

6 hbase启动指令

start-hbase.sh 启动
stop-hbase.sh  停止
hbase-daemon.sh start master 单独启动一个HMaster进程
hbase-daemon.sh stop master  单独停止一个HMaster进程
hbase-daemon.sh start regionserver 单独启动一个HRegionServer进程
hbase-daemon.sh stop regionserver  单独停止一个HRegionServer进程
hbase shell 进入客户端

7 flume启动指令

flume-ng agent -c flume_home/conf -f  flume_home/conf/avro.conf -n a1  -Dflume.root.logger=INFO,console

#   -c：使用配置文件所在目录（这里指默认路径，即$FLUME_HOME/conf）
#   -f：flume定义组件的配置文件 
#   -n：启动Agent的名称，该名称在组件配置文件中定义 
#   -Dflume.root.logger：flume自身运行状态的日志，按需配置，详细信息，控制台打印

8 sqoop启动指令

$ sqoop import (generic-args) (import-args)  从关系型数据库（mysql）的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中

$ sqoop export (generic-args) (export-args)  从 Hadoop 系统里抽取并导出到关系型数据库里

9 oozie启动指令

oozie-start.sh    或者  oozied.sh start 启动

10 spark启动指令

start-master.sh 
start-slaves.sh
spark shell 进入客户端执行scala指令

11 kafka启动指令

zkServer.sh start 先启动zookeeper
./kafka-server-start.sh -daemon ./config/server.properties &

12 elasticsearch后台启动指令

./elasticsearch -d

#访问head管理页面
http://192.168.88.81:9200/_plugin/head

13 查找进程

ps -ef | grep elastic(red等等)

14 logstash启动指令

./logstash -f logstash.conf

15 redis启动命令

./redis-server redis.conf
./redis-cli -h 127.0.0.1 -p 6379
./redis-cli shutdown

16 storm启动命令

先启动zookeeper

./storm nimbus &

./storm supervisor &

./storm ui &

ip:8080

Spark Core就是一个通用的批处理计算引擎，用来开发离线的批处理作业，它与Hadoop的MapReduce的区别就是，spark core基于内存计算，在速度方面有优势，尤其是机器学习的迭代过程。
Spark SQL就是Spark生态系统中一个开源的数据仓库组件，可以认为是Hive在Spark的实现，用来存储历史数据，做OLAP、日志分析、数据挖掘、机器学习等等