Kibana

server.port 5601是在配置文件中所以是5601端口可改的

部署kibana （图形展示）端口5601

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.10.1-linux-x86_64.tar.gz
tar xzvf kibana-7.10.1-linux-x86_64.tar.gz -C /usr/local/
mv /usr/local/kibana-7.10.0-linux-x86_64 /usr/local/kibana
在配置文件中添加 vi /usr/local/kibana/config/kibana.yml
server.host: “0.0.0.0”
elasticsearch.hosts: [“http://ela1:9200”, “http://ela2:9200”, “http://ela3:9200”]
i18n.locale: “zh-CN”
没解析就写ip地址
运行时候需要使用普通用户
su - elastic
chown elastic.elastic /usr/local/kibana/ -R
cd /usr/local/kibana/
nohup bin/kibana &
[elastic@lvs kibana-7.10.0-linux-x86_64]$ nohup bin/kibana &
[1] 14898
[elastic@lvs kibana-7.10.0-linux-x86_64]$ nohup: ignoring input and appending output to ‘nohup.out’
[elastic@lvs kibana-7.10.0-linux-x86_64]$ ss -ntlp
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 :5601 : users:((“node”,pid=14898,fd=18))
LISTEN 0 128 :22 :
LISTEN 0 100 127.0.0.1:25 :
LISTEN 0 128 [::]:9200 [::]: users:((“java”,pid=4671,fd=277))
LISTEN 0 128 [::]:9300 [::]: users:((“java”,pid=4671,fd=249))
LISTEN 0 128 [::]:22 [::]:
LISTEN 0 100 [::1]:25 [::]:

部署zookeeper和kafka 队列服务器 端口号 2888 3888 2181 9092 和任意五位的端口

依赖java环境所以去下载jdk1.8
tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo ’
JAVA_HOME=/usr/local/jdk1.8.0_181
PATH=$JAV{A}_{H}OME/bin:$PATH
export JAVA_HOME PATH
’ >>/etc/profile
source /etc/profile

Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里不再额下载ZK程序。
配置相互解析—三台机器
vim /etc/hosts
192.168.246.234 ela1
192.168.246.231 ela2
192.168.246.235 ela3
tar xzvf kafka_2.11-2.1.0.tgz -C /usr/local/
sed -i ‘s/^[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties 添加注释
vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties #添加如下配置
dataDir=/opt/data/zookeeper/data # 需要创建，所有节点一致
dataLogDir=/opt/data/zookeeper/logs # 需要创建，所有节点一致
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10

以下 IP 信息根据自己服务器的 IP 进行修改

server.1=192.168.246.231:2888:3888 //kafka集群IP:Port
server.2=192.168.246.234:2888:3888
server.3=192.168.246.235:2888:3888
配置文件中不可有中文会报错
#创建data、log目录
mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
echo 1 > /opt/data/zookeeper/data/myid #myid号按顺序排
echo 2 > /opt/data/zookeeper/data/myid
echo 3 > /opt/data/zookeeper/data/myid
三台机器都进行如上操作
配置Kafka
sed -i ‘s/^[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/server.properties
vim /usr/local/kafka_2.11-2.1.0/config/server.properties #在最后添加
broker.id=1 #3台的id依次是1，2，3
listeners=PLAINTEXT://192.168.246.231:9092 #ip要改
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.246.231:2181,192.168.246.234:2181,192.168.246.235:2181 #集群ip及端口
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

创建logs目录
mkdir -p /opt/data/kafka/logs

启动、验证ZK集群

在三个节点依次执行：
cd /usr/local/kafka_2.11-2.1.0/
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
查看端口
netstat -lntp | grep 2181
tcp6 0 0 :::2181 ::😗 LISTEN 1226/java
启动、验证Kafka 端口9092
在三个节点依次执行：
cd /usr/local/kafka_2.11-2.1.0/
nohup bin/kafka-server-start.sh config/server.properties &
在192.168.246.231上创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic “testtopic”.
在246.235上面查询192.168.246.231上的topic
bin/kafka-topics.sh --zookeeper 192.168.246.231:2181 --list
testtopic

模拟消息生产和消费

发送消息到192.168.246.231
bin/kafka-console-producer.sh --broker-list 192.168.246.231:9092 --topic testtopic

hello
从192.168.246.234接受消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.246.234:9092 --topic testtopic --from-beginning
hello