大数据集群部分启动命令（持续更新）

该文为个人学习笔记，仅供参考。
更多内容关注本人Halo¹博客

服务启动命令

Hadoop

启动全部守护进程

$ start-all.sh

• HDFS分布式文件系统

  • 在hadoop根目录下执行

  $ sbin/hadoop-daemon.sh start namenode
  $ sbin/hadoop-daemon.sh start datanode
  

  • 配置好全局环境变量，可全局执行。

  $ start-dfs.sh
  

• YARN

  • 在hadoop根目录下执行

      $ sbin/yarn-daemon.sh start resourcemanager
      $ sbin/yarn-daemon.sh start nodemanager
    

  • 配置好全局环境变量，可全局执行。

      $ start-yarn.sh
    

• Jobhistory

  在Hadoop根目录下执行

  $ sbin/mr-jobhistory-daemon.sh start historyserver
  

Sqoop

$ bin/sqoop  import  \
--connect jdbc:mysql://master:3306/my_db \
--username root \
--password 123456  \
--table so_detail  \
--columns  "id,product_id,price" \
--hbase-table "sqoop_order"  \
--hbase-create-table  \
--column-family "info"  \
--hbase-row-key "id"  \
-m 1 

Hive

启动元数据服务

Hive目录下启动

bin/hive --service metastore & 

配置好全局环境变量，可全局执行。

$ hive --service metastore & 

启动Hive Shell

Hive目录下启动

$ bin/hive 

配置好全局环境变量，可全局执行。

$ hive 

Zookeeper

• Zookeeper根目录下启动

$ bin/zkServer.sh start

• 配置好全局环境变量，可全局执行。

$ zkServer.sh start

HBase

• HBase根目录下启动

启动hbase进程【HMaster、HRegionServer】

$ bin/start-hbase.sh

启动hbase 的thrift server服务进程
Hue需要通过此服务进行信息交互

$ bin/hbase-daemon.sh start thrift 

• 配置好全局环境变量，可全局执行。

启动hbase进程【HMaster、HRegionServer】

$ start-hbase.sh

启动hbase 的thrift server服务进程
Hue需要通过此服务进行信息交互

$ hbase-daemon.sh start thrift 

Hue

• Hue根目录下启动

$ build/env/bin/supervisor 

• 配置好全局环境变量，可全局执行。

$ supervisor 

所有进程启动后

[hadoop@master sqoop-1.4.6-cdh5.14.2]$ jps
11683 ThriftServer
14119 RunJar
20685 Jps
12046 Main
15120 HRegionServer
10193 ResourceManager
10292 NodeManager
9845 DataNode
9751 NameNode
10649 QuorumPeerMain
14974 HMaster

全局变量配置

# vi /etc/profile

在最下面添加配置，修改各个HOME路径

#set java
export JAVA_HOME=/usr/java/jdk1.8.0_201
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

#set hadoop
export HADOOP_HOME=/opt/modules/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin

#hadoop_classpath
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.1.0-cdh5.14.2/lib/*:/opt/modules/hbase-1.2.0-cdh5.14.2/lib/*

#set hive 
export HIVE_HOME=/opt/modules/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

#set flume
export FLUME_HOME=/opt/modules/flume-1.6.0-cdh5.14.2
export PATH=$PATH:$FLUME/bin

#set oozie
export OOZIE_HOME=/opt/modules/oozie-4.1.0-cdh5.14.2
export PATH=$PATH:$OOZIE_HOME/bin

#set hue
export HUE_HOME=/opt/modules/hue-3.9.0-cdh5.14.2
export PATH=$PATH:$HUE_HOME/build/env/bin

#set hbase
export HBASE_HOME=/opt/modules/hbase-1.2.0-cdh5.14.2
export PATH=$PATH:$HBASE_HOME/bin

#set zookeeper
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.5-cdh5.14.2
export PATH=$PATH:$ZOOKEEPER_HOME/bin

---

1. Halo：基于Java的开源博客，感谢halo提供如此强大的博客系统。 ↩︎