集群部分启动命令

#ZK
# 8. 启动Zookeeper【注意：每台均要执行上面的配置，然后每台都执行启动】
[root@node01 zookeeper-3.6.3]$ zkServer.sh start
# 9. 查看 Zookeeper 启动状态
[root@node01 zookeeper-3.6.3]$ zkServer.sh status
# 10.停止 Zookeeper 服务
[root@node01 zookeeper-3.6.3]$ zkServer.sh stop


###Kafka
[root@node01 kafka]$ kafka-server-stop.sh

[root@node01 kafka]$ kafka-server-start.sh -daemon /opt/apps/kafka/config/server.properties

kafka-console-producer.sh --bootstrap-server node01:9092 --topic spark
kafka-console-producer.sh --bootstrap-server node01:9092 --Created topic test
kafka-topics.sh --bootstrap-server node01:9092 --create --replication-factor 3 --partitions 10 --topic spark
Created topic test
创建topic
./bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic test

###kafka-ui
 .\jdk-17.0.5\bin\java.exe -jar .\kafka-ui-api-v0.4.0.jar

###superset
docker start superset
docker exec -it superset superset run --with-threads --reload --debugger

hdfs dfsadmin -safemode get(查看安全模式状态)
hdfs dfsadmin -safemode enter（进入安全模式状态）
hdfs dfsadmin -safemode leave（离开安全模式状态）
hdfs dfsadmin -safemode wait（等待安全模式状态）


hive --hivevar app=commerce -f /opt/app-dw/sql/init/ods.sql
###maxwell
#启动
 ./maxwell --config /opt/apps/maxwell/config.properties --daemon

#关闭
ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill -9

##3. 在其中一台节点上创建主题，便于后面使用
[root@node01 opt]$ kafka-topics.sh --bootstrap-server node01:9092 --create --replication-factor 3 --partitions 10 --topic spark
Created topic spark.

##4. 启动一个控制台生产者，向主题中生产数据
[root@node01 opt]$ kafka-console-producer.sh \
--bootstrap-server node01:9092 \
--topic t2

##5. 在其他节点上可以启动一个消费者监听数据
[root@node02 ~]$ kafka-console-consumer.sh \
--bootstrap-server node01:9092 \
--from-beginning \
--topic t2







###Flume
wget http://mirror.bit.edu.cn/apache/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz

## 1. 解压 Flume 安装包
[root@node01 apps]# tar -zxf apache-flume-1.9.0-bin.tar.gz 
## 2. 重命名 Flume文件夹名称
[root@node01 apps]# mv apache-flume-1.9.0-bin flume
## 3. 删除 Flume 安装包
[root@node01 apps]$ rm -rf apache-flume-1.9.0-bin.tar.gz
## 4. 修改 /etc/profile 文件环境变量配置
[root@node01 conf]$ vi /etc/profile
#Flume
export FLUME_HOME=/opt/apps/flume
export PATH=$PATH:$FLUME_HOME/bin
## 5. 分发目录
[root@node01 ~]$ xsync /opt/apps/flume
## 6. 分发环境变量设置
[root@node01 ~]$ xsync /etc/profile.d/bd_env.sh
# 使设置立即生效【三个节点均要执行】
[root@node01 ~]$ source /etc/profile
[root@node02 ~]$ source /etc/profile
[root@node03 ~]$ source /etc/profile


[root@node01 conf]$ cd /opt/
[root@node01 opt]$ mkdir -p conf/flume/
[root@node01 opt]$ cd conf/flume/

 [root@node01 flume]$ vi flume-netcat.conf
## 添加以下配置信息

# 配置agent中的名字：a1表示agent的名字，r1表示输入的Source的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source：输入源类型，地址，端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = node01
a1.sources.r1.port = 6666
# 配置sink：输出目的地的类型【控制台日志】
a1.sinks.k1.type = logger
# 配置channel：类型；Channel中可以存放1000个event，收集100个event就提交事务
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 建立关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume-ng agent \
--conf conf \
--conf-file ./flume-netcat.conf \
--name a1 \
-Dflume.root.logger==INFO,console
--conf conf #表示配置文件存储在 conf 目录
--name a1 #表示给 agent 起名为a1
--conf-file ./flume-netcat.conf #flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console #-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。并且显示到控制台


本地到hdfs

[root@node01 flume]$ 
## 添加以下配置信息

a2.sources = r2
a2.sinks = k2
a2.channels = c2
## source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/data/tmp.log 
## sink
a2.sinks.k2.type = hdfs
#1. 文件上传的HDFS路径o
a2.sinks.k2.hdfs.path = hdfs://node01:9000/flume/%y-%m-%d/%H-%M
#2. 文件的前后缀
## 文件前缀
a2.sinks.k2.hdfs.filePrefix = tmp-log-
## 文件后缀
a2.sinks.k2.hdfs.fileSuffix = .log
## 文件正在写入时的前缀
a2.sinks.k2.hdfs.inUsePrefix = progress-
## 文件正在写入时的后缀
a2.sinks.k2.hdfs.inUseSuffix = .tmp
#3. 时间戳问题
##时间戳是否应四舍五入
a2.sinks.k2.hdfs.round = true
##四舍五入到小于当前时间的最高倍数
a2.sinks.k2.hdfs.roundValue = 1
##四舍五入值的单位
a2.sinks.k2.hdfs.roundUnit = minute
#4. 滚动产生新的文件
##滚动当前文件之前要等待的秒数
a2.sinks.k2.hdfs.rollInterval =  30
##触发滚动的文件大小，以字节为单位
a2.sinks.k2.hdfs.rollSize = 125829120
##滚动之前写入文件的事件数
a2.sinks.k2.hdfs.rollCount = 30
a2.sinks.k2.hdfs.fileType = DataStream
#hdfs.minBlockReplicas这个就是block块的数目
#是否启用本地时间
a2.sinks.k2.hdfs.useLocalTimeStamp = true

##Channel
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
##关联
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2


[root@node01 ~]$ cd /opt/
[root@node01 opt]$ mkdir data
[root@node01 opt]$ vi /opt/data/tmp.log

flume-ng agent \
--conf conf \
--name a2 \
--conf-file ./flume-exec.conf

[root@node01 data]$ echo 'hhhh' >> /opt/data/tmp.log


 [root@node01 flume]$ vi flume-dir.conf 
 a3.sources = r3
 a3.sinks = k3
 a3.channels = c3

## source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/test/flume/dir
#a3.sources.r3.includePattern 包含哪些文件，后面跟的 .log是正则表达式
#a3.sources.r3.ignorePattern  忽略哪些文件 .tmp

## sink
a3.sinks.k3.type = hdfs
#文件上传的HDFS路径
a3.sinks.k3.hdfs.path = hdfs://node01:9000/flume/dir
/%y-%m-%d/%H-%M
#文件的前缀
a3.sinks.k3.hdfs.filePrefix = dir-
#是否按照时间滚动产生新的文件夹
a3.sinks.k3.hdfs.round = true
#按照多长时间滚动一次
a3.sinks.k3.hdfs.roundValue = 1
#时间的单位
a3.sinks.k3.hdfs.roundUnit = hour
#滚动产生新的文件
a3.sinks.k3.hdfs.rollInterval =  300000
a3.sinks.k3.hdfs.rollSize = 125829120
#设置事件多少个之后产生新的文件
a3.sinks.k3.hdfs.rollCount = 0
a3.sinks.k3.hdfs.fileType = DataStream
#hdfs.minBlockReplicas这个就是block块的数目
a3.sinks.k3.hdfs.useLocalTimeStamp = true

##Channel
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100

##关联
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

flume-ng agent \
--conf conf \
--name a3 \
--conf-file ./flume-dir.conf