-->只是为了自己方便所做的一些记录,有错误的地方欢迎指正<--
端口号:
9870 hadoop
8088 yarn
16010 hbase
19888 jobhistory
3306 mysql
9092 kafka
2181 zookeeper
6379 redis
4040 spark
8081 azkaban
9200 elasticsearch
5601 kibana
50070 flume
8787 superset
8081 flink(可能和其他端口号有冲突,可以改一下)
Flink On Yarn的web UI端口号会变,使用的时候注意更改
相关命令:
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-dfs.sh
zkServer.sh start
kafka启动命令:
kafka-server-start.sh -daemon config/server.properties
创建topic:
bin/kafka-topics.sh --zookeeper hadoop11:2181 --create --topic topica --partitions 3 --replication-factor 2
消费:
bin/kafka-console-consumer.sh --bootstrap-server hadoop11:9092 --topic topica
生产:
bin/kafka-console-producer.sh --broker-list hadoop11:9092 --topic topica
关闭kafka:
bin/kafka-server-stop.sh stop
redis首次启动:
redis-server /opt/installs/redis-6.2.0/redis.conf
ps -ef | grep redis
redis之后启动:
redis-server redis.conf
redis启动客户端:
redis-cli -h hadoop10 -p 6379 -a 123
flume监控文件夹:
bin/flume-ng agent --conf conf --name a1 --conf-file job/spooldir-memory-hdfs.conf -Dflume.root.logger=INFO,console
启动hive的metastore服务:
hive --service metastore
服务端:
hiveserver2
客户端:
beeline
下载地址:
flume:
Welcome to Apache Flume — Apache Flume
maven:
http://archive.apache.org (apache 归档)
redis:
常用语句:
rm -rf /* :删库跑路
vi /etc/sysconfig/network-scripts/ifcfg-ens33:改虚拟机配置的文件
chmod -R 777 / :赋权限 421
systemctl restart chronyd:刷新时间
java -jar jar包名 #要在当前目录下 :运行jar包
sh :运行.sh文件
pwd 查看当前路径