大数据之Hadoop+Spark生态圈脚本启动命令（二）

1.Hive
1.1什么是Hive？
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

1）Hive处理的数据存储在HDFS
2）Hive分析数据底层的实现是MapReduce
3）执行程序运行在Yarn上
1.2hive启动命令：
第一种方式：

[hadoop@bigdata02 hive]$ bin/hive

第二种方式：
先启动hiveserver2服务

[hadoop@bigdata02 hive]$ bin/hiveserver2

复制会话再启动beeline

[hadoop@bigdata02 hive]$ bin/beeline

最后连接hiveserver2

beeline> !connect jdbc:hive2://hadoop102:10000（回车）
Connecting to jdbc:hive2://hadoop102:10000
Enter username for jdbc:hive2://hadoop102:10000: hadoop（回车）
Enter password for jdbc:hive2://hadoop102:10000: （直接回车）
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://hadoop102:10000> show databases;

备注：启动hive，先启动hadoop
2.Flume
2.1 Flume定义
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Flume的启动方式：
第一种写法：

[hadoop@hadoop101 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法：

[hadoop@hadoop101 flume]$ bin/flume-ng agent -c conf/ -n a1 –f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明：
–conf/-c：表示配置文件存储在conf/目录
–name/-n：表示给agent起名为a1
–conf-file/-f：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger=INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
使用netcat工具向本机的44444端口发送内容

[hadoop@hadoop101 ~]$ nc localhost 44444
hello 
bigdata

3.Kafka
3.1定义
Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域;
3.2 集群规划

bigdata02	bigdata03	bigdata04
zk,kafka	zk,kafka	zk,kafka

3.3启动命令
3.3.1单启命令
依次在bigdata02、bigdata03、bigdata04节点上启动kafka

[hadoop@bigdata02 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@bigdata03 kafka]$ bin/kafka-server-start.sh -daemon  config/server.properties
[hadoop@bigdata04 kafka]$ bin/kafka-server-start.sh -daemon  config/server.properties

9）关闭集群

[hadoop@bigdata02 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@bigdata03 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@bigdata04 kafka]$ bin/kafka-server-stop.sh stop

10）kafka群起脚本

for i in bigdata02 bigdata03 bigdata04
do
echo "========== $i ==========" 
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done

4.HBase
4.1集群规划

hadoop01	hadoop02	hadoop03
hdfs,yarn,zookeeper,hbase	hdfs,yarn,zookeeper,hbase	hdfs,yarn,zookeeper,hbase

1.单点启动

[hadoop@hadoop101 hbase]$ bin/hbase-daemon.sh start master
[hadoop@hadoop101 hbase]$ bin/hbase-daemon.sh start regionserver

2.群启

[hadoop@hadoop101 hbase]$ bin/start-hbase.sh

对应的停止服务：

[hadoop@hadoop101 hbase]$ bin/stop-hbase.sh