1、Linux环境安装jdk和kafka和验证【非docker版】

一、安装JDK

1、 下载、配置kafka

下载安装包：jdk-8u301-linux-i586.tar.gz

链接：https://pan.baidu.com/s/1MtQBazDICzAFSLkTfUzTDg?pwd=oi0w
提取码：oi0w
–来自百度网盘超级会员V5的分享

JAVA环境变量

vim /etc/profile

文件最后面添加

export JAVA_HOME=/opt/jdk/jdk1.8.0_301
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

环境变量生效

source /etc/profile

2、启动验证

java -version

3、出现错误：bad ELF

需安装glibc.zip，上传该文件，执行sh install.sh

glibc.zip下载
链接：https://pan.baidu.com/s/1wNKFK8X8J3Ly8nqFGXr3qA?pwd=nfis
提取码：nfis
–来自百度网盘超级会员V5的分享

二、 安装kafka

1、 下载、配置kafka

下载安装包：kafka_2.13-3.3.1.tgz ，放在/opt/kafka目录下

cd /opt/kafka
tar -zxf kafka_2.13-3.3.1.tgz
vim config/server.properties

kafka修改配置文件：

内网地址、逗号分隔：listeners=PLAINTEXT://0.0.0.0:9092
外部地址、逗号分隔：advertised.listeners=PLAINTEXT://8.134.109.1118:9092 【提供给客户端】
日志地址：dirs=/opt/kafka/data
不用改： zookeeper.connec t=localhost:2181

zookeeper配置文件：

#默认禁用adminserver，如果启用其端口设置为未占用的端口
admin.enableServer=false
admin.serverPort=8081
#出现ZooKeeper audit is disabled
audit.enable=true

kafka环境变量

vim /etc/profile

文件最后面添加：

#KAFKA ENV
export KAFKA_HOME=/opt/kafka/kafka_2.13-3.3.1
export PATH=$PATH:$KAFKA_HOME/bin

环境变量生效：
source /etc/profile

2、启动验证

kafka3.0之后不依赖zookeeper，不用单独安装。
启动zookeeper：

bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties 

验证是否成功： ps -ef| grep zookeeper

启动kafka：

bin/kafka-server-start.sh -daemon config/server.properties 

验证是否成功：
创建topic:

bin/kafka-topics.sh --create --topic test-topic --replication-factor 1 --partitions 1 --bootstrap-server localhost:9092

查看topic列表:

bin/kafka-topics.sh -list -bootstrap-server localhost:9092

查看指定topic:

bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test-topic

3、异常情况

1、/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
执行命令：

yum install glibc.i686
yum install libstdc++.so.6

2、Error exists in the bytecode
是因为jdk版本低的原因：我从1.8.0_11 升级为1.8.0_301，成功启动
3、kafka消费报错coordinator unavailable.Rediscovery will be attempt redisCovery

删除
• 删除日志目录（缺点是会造成日志数据全部丢失…）
• 删除data目录下的meta.properties文件；
	如果不行，把含有“__consumer_offsets...”的文件删除；
	再不行将对应的主题文件夹删除。
• 重启Kafka

4.其他常用命令

-- 设置参数
1、bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-name se-xyc-equipmentState --entity-type topics --add-config retention.ms=60000
-- 查询配置
2、bin/kafka-configs.sh --bootstrap-server localhost:9092  --describe --entity-type topics --entity-name se-xyc-equipmentState
-- 查询数量
3、bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group  test-consumer-group 
-- 删除
4、bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 -topic se-xyc-equipmentstate


5. 启动生产者：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

6. 启动消费者：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

7. 查看消费者组：
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

8. 查看特定消费者组的消费情况：
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-consumer-group

9. 查看broker信息：
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

10. 查看kafka版本：
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092 --version

5.常见异常

1、(id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery

1、检查IP、端口是否错误
2、因kafka异常后重启，消息堆积，无法找到消费的offset，
因此删除kafka_log/ consumer offsets的历史文件，再启动Kafka进程即可