九十三、尚硅谷kylin单机版环境——安装Kafka211

8 篇文章 0 订阅

(一)打开安装包所在地
[root@kylin141 flume160]# cd /opt/install/
[root@kylin141 install]# ls
apache-hive-3.1.2-bin.tar.gz                    mysql-community-embedded-5.7.28-1.el7.x86_64.rpm
apache-kylin-3.0.2-bin.tar.gz                   mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm
apache-zookeeper-3.5.7-bin.tar.gz               mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
flume-ng-1.6.0-cdh5.14.0.tar.gz                 mysql-community-libs-5.7.28-1.el7.x86_64.rpm
hadoop-3.1.3.tar.gz                             mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
hbase-2.0.5-bin.tar.gz                          mysql-community-server-5.7.28-1.el7.x86_64.rpm
jdk-8u212-linux-x64.tar.gz                      mysql-community-test-5.7.28-1.el7.x86_64.rpm
kafka_2.11-2.4.1.tgz                            mysql-connector-java-5.1.37.jar
mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar        scala-2.11.12.tgz
mysql-community-client-5.7.28-1.el7.x86_64.rpm  spark-3.0.0-bin-hadoop3.2.tgz
mysql-community-common-5.7.28-1.el7.x86_64.rpm  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mysql-community-devel-5.7.28-1.el7.x86_64.rpm   zeppelin-0.9.0-preview1-bin-all.tgz

(二)解压安装包
[root@kylin141 install]# tar -zxf kafka_2.11-2.4.1.tgz   -C /opt/soft

(三)重命名
[root@kylin141 install]# cd /opt/soft
[root@kylin141 soft]# ls
flume160  hadoop313  hbase205  hive312  jdk180  kafka_2.11-2.4.1  scala211  spark300  sqoop146  zepplin090  zookeeper357
[root@kylin141 soft]# mv kafka_2.11-2.4.1/  kafka211
[root@kylin141 soft]# ls
flume160  hadoop313  hbase205  hive312  jdk180  kafka211  scala211  spark300  sqoop146  zepplin090  zookeeper357

(四)查看安装路径
[root@kylin141 soft]# cd ./kafka211/
[root@kylin141 kafka211]# pwd
/opt/soft/kafka211
[root@kylin141 kafka211]# ls
bin  config  libs  LICENSE  NOTICE  site-docs

(五)修改配置文件
[root@kylin141 kafka211]# cd ./config/
[root@kylin141 config]# ls
connect-console-sink.properties    connect-file-source.properties   consumer.properties  tools-log4j.properties
connect-console-source.properties  connect-log4j.properties         log4j.properties     trogdor.conf
connect-distributed.properties     connect-mirror-maker.properties  producer.properties  zookeeper.properties
connect-file-sink.properties       connect-standalone.properties    server.properties
[root@kylin141 config]# vi server.properties
21 broker.id=0    (集群时要修改)
36 advertised.listeners=PLAINTEXT://192.168.59.128:9092
60 log.dirs=/opt/soft/kafka211/kafka-logs
103 log.retention.hours=1680       //保存70天
123 zookeeper.connect=192.168.59.128:2181
127 delete.topic.enable=true

(六)创建文件  kafka-logs
[root@kylin141 config]# cd ..
[root@kylin141 kafka211]# ls
bin  config  libs  LICENSE  NOTICE  site-docs
[root@kylin141 kafka211]# mkdir ./kafka-logs
[root@kylin141 kafka211]# ls
bin  config  kafka-logs  libs  LICENSE  NOTICE  site-docs
[root@kylin141 kafka211]# cd ./kafka-logs/
[root@kylin141 kafka-logs]# pwd
/opt/soft/kafka211/kafka-logs

(七)配置环境
[root@kylin141 kafka-logs]# vi /etc/profile
#kafka
export KAFKA_HOME=/opt/soft/kafka211
export PATH=$PATH:$KAFKA_HOME/bin

(八)source一下
[root@kylin141 kafka-logs]# source /etc/profile


(九)先启动zookeeper,再启动kafka
[root@kylin141 kafka211]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/soft/zookeeper357/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@kylin141 kafka211]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/soft/zookeeper357/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: standalone

开启方法一
[root@kylin141 kafka211]# cd ./bin/
[root@kylin141 bin]# kafka-server-start.sh  /opt/soft/kafka211/config/server.properties 
静默开启方法二  优选
[root@kylin141 bin]# nohup kafka-server-start.sh  /opt/soft/kafka211/config/server.properties &
[4] 14897
[root@kylin141 bin]# nohup: ignoring input and appending output to ‘nohup.out’

[root@kylin141 bin]# jps
11968 DataNode
12624 NodeManager
14897 Kafka
11826 NameNode
14354 Application
14818 QuorumPeerMain
14007 Application
12216 SecondaryNameNode
13675 Application
15308 Jps
12477 ResourceManager

查看所有主题
[root@kylin141 bin]# kafka-topics.sh  --zookeeper 192.168.59.141:2181  --list

创建主题  mydemo   1个分区  备份1份副本
[root@kylin141 bin]# kafka-topics.sh  --create --zookeeper 192.168.59.141 --topic mydemo  --partitions 1 --replication-factor 1
Created topic mydemo.

再次查看所有主题
[root@kylin141 bin]# kafka-topics.sh  --zookeeper 192.168.59.141:2181  --list
mydemo


[root@kylin141 bin]# kafka-console-consumer.sh --bootstrap-server 192.168.59.141:9092  --topic mydemo  --from-beginning

控制台生产消息 到 mydemo 主题
[root@kylin141 bin]# kafka-console-producer.sh  --topic mydemo --broker-list 192.168.59.141:9092
>helle off
>hello java
>hello world

控制台消费消息 从 mydemo 主题
[root@kylin141 config]# kafka-console-consumer.sh --bootstrap-server 192.168.59.141:9092  --topic mydemo  --from-beginning
helle off
hello java
hello world

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天地风雷水火山泽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值