1.Hive
1.1什么是Hive?
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
1)Hive处理的数据存储在HDFS
2)Hive分析数据底层的实现是MapReduce
3)执行程序运行在Yarn上
1.2hive启动命令:
第一种方式:
[hadoop@bigdata02 hive]$ bin/hive
第二种方式:
先启动hiveserver2服务
[hadoop@bigdata02 hive]$ bin/hiveserver2
复制会话再启动beeline
[hadoop@bigdata02 hive]$ bin/beeline
最后连接hiveserver2
beeline> !connect jdbc:hive2://hadoop102:10000(回车)
Connecting to jdbc:hive2://hadoop102:10000
Enter username for jdbc:hive2://hadoop102:10000: hadoop(回车)
Enter password for jdbc:hive2://hadoop102:10000: (直接回车)
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://hadoop102:10000> show databases;
备注:启动hive,先启动hadoop
2.Flume
2.1 Flume定义
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。
Flume的启动方式:
第一种写法:
[hadoop@hadoop101 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
第二种写法:
[hadoop@hadoop101 flume]$ bin/flume-ng agent -c conf/ -n a1 –f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
参数说明:
–conf/-c:表示配置文件存储在conf/目录
–name/-n:表示给agent起名为a1
–conf-file/-f:flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger=INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
使用netcat工具向本机的44444端口发送内容
[hadoop@hadoop101 ~]$ nc localhost 44444
hello
bigdata
3.Kafka
3.1定义
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域;
3.2 集群规划
bigdata02 | bigdata03 | bigdata04 |
---|---|---|
zk,kafka | zk,kafka | zk,kafka |
3.3启动命令
3.3.1单启命令
依次在bigdata02、bigdata03、bigdata04节点上启动kafka
[hadoop@bigdata02 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@bigdata03 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@bigdata04 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
9)关闭集群
[hadoop@bigdata02 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@bigdata03 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@bigdata04 kafka]$ bin/kafka-server-stop.sh stop
10)kafka群起脚本
for i in bigdata02 bigdata03 bigdata04
do
echo "========== $i =========="
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done
4.HBase
4.1集群规划
hadoop01 | hadoop02 | hadoop03 |
---|---|---|
hdfs,yarn,zookeeper,hbase | hdfs,yarn,zookeeper,hbase | hdfs,yarn,zookeeper,hbase |
1.单点启动
[hadoop@hadoop101 hbase]$ bin/hbase-daemon.sh start master
[hadoop@hadoop101 hbase]$ bin/hbase-daemon.sh start regionserver
2.群启
[hadoop@hadoop101 hbase]$ bin/start-hbase.sh
对应的停止服务:
[hadoop@hadoop101 hbase]$ bin/stop-hbase.sh