CentOS上安装部署Kafka

最新推荐文章于 2021-11-17 18:06:43 发布
最新推荐文章于 2021-11-17 18:06:43 发布
阅读量662 收藏
点赞数 1
分类专栏： 消息队列 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengjunlee/article/details/103258121
版权

环境准备

安装JDK

在安装Kafka之前需要先安装JDK，JDK的安装与配置，请参考文章：https://blog.csdn.net/pengjunlee/article/details/53932094

下载安装包

官网下载：http://kafka.apache.org/downloads

单节点安装

Kafka当前的稳定版本是 2.4.0，下载其二进制安装包 kafka_2.13-2.4.0.tgz 。

# 下载 kafka_2.13-2.4.0.tgz 安装包到 /usr/local/src/ 目录
[root@localhost ~]# wget -P /usr/local/src/ http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz
# 将 kafka_2.13-2.4.0.tgz 安装包解压到 /usr/local/ 目录
[root@localhost ~]# tar -zxvf /usr/local/src/kafka_2.13-2.4.0.tgz -C /usr/local/
# 切换至 Kafka 解压的 /bin 目录
[root@localhost kafka_2.13-2.4.0]# cd /usr/local/kafka_2.13-2.4.0/bin/

启动Zookeeper

在启动Kafka之前需要先启动 Zookeeper，在此直接使用Kafka安装包中内嵌的 Zookeeper。

# 查看 ./zookeeper-server-start.sh 命令的用法
[root@localhost bin]# ./zookeeper-server-start.sh 
USAGE: ./zookeeper-server-start.sh [-daemon] zookeeper.properties
# 启动 Zookeeper
[root@localhost bin]# ./zookeeper-server-start.sh ../config/zookeeper.properties

启动Kafka

# 查看 ./kafka-server-start.sh 命令的用法
[root@localhost bin]# ./kafka-server-start.sh
USAGE: ./kafka-server-start.sh [-daemon] server.properties [--override property=value]*
# 启动 Kafka
[root@localhost bin]# ./kafka-server-start.sh ../config/server.properties

验证是否安装成功

# 首先创建一个 Topic ，其名称为 topic1
[root@localhost bin]# ./kafka-topics.sh --zookeeper localhost:2181 --create --topic topic1 --partitions 3 --replication-factor 1
Created topic topic1.
# 查看 topic1 的配置信息
[root@localhost bin]# ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic topic1
Topic: topic1	PartitionCount: 3	ReplicationFactor: 1	Configs: 
	Topic: topic1	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
	Topic: topic1	Partition: 1	Leader: 0	Replicas: 0	Isr: 0
	Topic: topic1	Partition: 2	Leader: 0	Replicas: 0	Isr: 0

Kafka提供了一个 Console 消费者，它会将消费的消息内容打印出来。接下来，我们使用它来验证安装好的Kafka是否能正常工作。

# 启动一个 Console 消费者，消费 topic1 主题
[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1

打开一个新的命令行窗口并启动一个 Console 生产者，开始创建消息。

# 启动一个 Console 生产者，向 topic1 主题写入消息
[root@localhost bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1
# 创建两条消息内容
>hello kafka
>bye!
>

在 Console 消费者的命令行窗口中若能同步看到 Console 生产者创建的消息则证明Kafka安装成功。

[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1
# 在 Console 消费者的命令行窗口中同步显示 Console 生产者创建的消息
hello kafka
bye!

使用已部署好的Zookeeper集群

在实际项目中，我们的服务器上通常都已经安装好了Zookeeper集群，在这种情况下，我们一般不会直接使用的Kafka自带的Zookeeper来启动Kafka服务，而是复用已经部署好的Zookeeper集群。此时，需要修改一下 config/server.properties 配置。

zookeeper.connect=172.16.250.233:2181,172.16.250.234:2181,172.16.250.237:2181

使用ClusterShell部署Kafka集群

3个节点服务器信息如下：

IP AddressUser Name
172.16.250.233root
172.16.250.234root
172.16.250.237root

SSH免密码登录配置

在 Kafka 集群中的各个节点之间需要使用 SSH 频繁地进行通信，为了避免每次的通信都要求输入密码，需要对各个节点进行 SSH 免密码登录配置。

开启sshd秘钥认证

在进行SSH免密码登录配置之前，需要先开启 sshd 秘钥认证：编辑每一台机器的  /etc/ssh/sshd_config 文件，去掉下面这3行前的 “#” 注释。

   # RSAAuthentication yes
   # PubkeyAuthentication yes
   # AuthorizedKeysFile      .ssh/authorized_keys

修改完成后保存，并执行以下命令重启 sshd 服务使修改生效。

systemctl restart  sshd              # 重启 sshd 服务

创建免密码登录账户

由于 Kafka 集群中的各节点默认会使用当前的账号SSH免密码登录其它节点，所以需要在每个节点中创建一个相同的供 Kafka 集群专用的账户，本例中为了操作方便，直接使用的 root 用户 。

生成公钥和私钥

执行 ssh-keygen -t rsa 命令，生成用来SSH免密码登录的公钥和私钥。

[root@localhost ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
88:e5:23:fb:c9:52:e5:fc:f0:64:c4:a8:a4:d6:8e:16 root@localhost.localdomain
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|      .  o       |
|     +..o o      |
|    o++=S.       |
|    Eo+.+ o      |
|   ..=   *       |
|    +o..  o      |
|   . .+          |
+-----------------+

上述秘钥生成过程中，无需指定秘钥存放目录和口令密码，直接回车，命令执行完毕后会在 root 账户的家目录中（/root/.ssh）生成两个文件：

[root@localhost ~]# ls /root/.ssh
id_rsa  id_rsa.pub  known_hosts
  • id_rsa: 私钥
  • id_rsa.pub:公钥

将公钥导入到认证文件（172.16.250.233）

秘钥生成之后，在 172.16.250.233 主机上执行以下命令将每台机器的公钥都拷贝到 172.16.250.233 主机的认证文件 authorized_keys 中。

[root@localhost ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
[root@localhost ~]# ssh root@172.16.250.234 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
root@172.16.250.234's password:      # 键入该服务器 root 用户的密码
[root@localhost ~]# ssh root@172.16.250.237 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
The authenticity of host '172.16.250.237 (172.16.250.237)' can't be established.
ECDSA key fingerprint is 41:f9:3e:bf:1c:58:75:a6:09:76:de:7a:bd:eb:00:00.
Are you sure you want to continue connecting (yes/no)? yes   
Warning: Permanently added '172.16.250.237' (ECDSA) to the list of known hosts.
root@172.16.250.237's password:      # 键入该服务器 root 用户的密码
[root@localhost ~]#

查看 authorized_keys 文件内容如下：

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDctNy/ig2OIQ+E1gQSgmjNwlflvNT3ssDl2ho5tRDuo9YLCyDwcygw7I6jQzKOv5kBqhbl8lis7N0Ymk736xIwYEvZBc1ejFU8vfL8GgvX8+ltT7d/QSUZKnp14JmVZj0wekAOLGsnlhYp1TQGtGLMq2F3l4e1ltLaPcsYY9tEN6meihKD6mivTHVR+K+v3yP6mpWCRiIawaqYVjJj27FRBKQwvH5GGUUrC0oAlKRZhvS7Vr3GcOf1kJOdBr5VTYZS6q/8Hwx0XDnNsdlwiEM/W7KbxJpjwrV3SW/CcZoMUbUBwDC5IHyClmMyVnKzgE27zKqRl4y7FqUY2AM1ZxLp root@localhost.localdomain
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCpjVIZwi3yQXgQXYzjQbfzt3kb+FJb1xglTzgyQGAk8g8Qv4EmAiqo7l5wapDhnsTUifu7t0WJYd1VY2UlD4+xqd0RIimVSm4OLoi8yF9oSoffaz+JWEJOva9F8GRjByz7Uf41e4mZut3d4RZjVqoCKh7LkPcoBUZ4ZSNiLvEbHQSWM/eDOyGhRiHTe+QYMuf88rZ6xhjO7Z9/iNYhOkflPa6GJo5eNJi2W1dI1pYYY53sgoMHbkTLvlrCnjA1mf7iTCC8mIb9gu3DKbss/Tqp/tnYBjtvIWsD7TeqOHeCno3rvJaJCU1ynvLAit5OJkHHXyq78YuOxxvjmzDJvpkr root@localhost.localdomain
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDbLY2wI+VvKAp1yht/q64GnPNQUIerWiuaZx8UHZHTgz4R8VtMS1WC5RvuYqFs2a6IwoUlTeAG06MTPjwPjp6vAiuTm+EqGLeBRJpgpI3ULZ2WJxpqMAJJjR/qeTWCM1BxsKHKctKMvbwIb10v436OMR86CX47cmcvcx/gOw/DJiNqnE9oK8mBvRbvgzh9OVPwQQk13rdROaUzBCEnFeGVMd2oxaQ85zQx6cCyF3kCAzmNkjfiNn9+wp3z/oqwYSkcnfXrRiEQPJ//ZHk7p/ZR6oorDUdCzJKuddOleEgX4V6eqPhJolHF3/8bF0LzB/zcxNNNiwxZiAgxSI8gwLPl root@localhost.localdomain

修改其中各个服务器的IP地址：

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDctNy/ig2OIQ+E1gQSgmjNwlflvNT3ssDl2ho5tRDuo9YLCyDwcygw7I6jQzKOv5kBqhbl8lis7N0Ymk736xIwYEvZBc1ejFU8vfL8GgvX8+ltT7d/QSUZKnp14JmVZj0wekAOLGsnlhYp1TQGtGLMq2F3l4e1ltLaPcsYY9tEN6meihKD6mivTHVR+K+v3yP6mpWCRiIawaqYVjJj27FRBKQwvH5GGUUrC0oAlKRZhvS7Vr3GcOf1kJOdBr5VTYZS6q/8Hwx0XDnNsdlwiEM/W7KbxJpjwrV3SW/CcZoMUbUBwDC5IHyClmMyVnKzgE27zKqRl4y7FqUY2AM1ZxLp root@172.16.250.233
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCpjVIZwi3yQXgQXYzjQbfzt3kb+FJb1xglTzgyQGAk8g8Qv4EmAiqo7l5wapDhnsTUifu7t0WJYd1VY2UlD4+xqd0RIimVSm4OLoi8yF9oSoffaz+JWEJOva9F8GRjByz7Uf41e4mZut3d4RZjVqoCKh7LkPcoBUZ4ZSNiLvEbHQSWM/eDOyGhRiHTe+QYMuf88rZ6xhjO7Z9/iNYhOkflPa6GJo5eNJi2W1dI1pYYY53sgoMHbkTLvlrCnjA1mf7iTCC8mIb9gu3DKbss/Tqp/tnYBjtvIWsD7TeqOHeCno3rvJaJCU1ynvLAit5OJkHHXyq78YuOxxvjmzDJvpkr root@172.16.250.234
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDbLY2wI+VvKAp1yht/q64GnPNQUIerWiuaZx8UHZHTgz4R8VtMS1WC5RvuYqFs2a6IwoUlTeAG06MTPjwPjp6vAiuTm+EqGLeBRJpgpI3ULZ2WJxpqMAJJjR/qeTWCM1BxsKHKctKMvbwIb10v436OMR86CX47cmcvcx/gOw/DJiNqnE9oK8mBvRbvgzh9OVPwQQk13rdROaUzBCEnFeGVMd2oxaQ85zQx6cCyF3kCAzmNkjfiNn9+wp3z/oqwYSkcnfXrRiEQPJ//ZHk7p/ZR6oorDUdCzJKuddOleEgX4V6eqPhJolHF3/8bF0LzB/zcxNNNiwxZiAgxSI8gwLPl root@172.16.250.237

设置认证文件访问权限（172.16.250.233）

在 172.16.250.233 主机上执行如下命令，对认证文件的操作权限进行设置：

[root@localhost ~]# chmod 700 /root/.ssh
[root@localhost ~]# chmod 600 /root/.ssh/authorized_keys

将认证文件复制到其他主机

在 172.16.250.233 主机上执行以下命令将生成的 authorized_keys 文件复制到 172.16.250.234 和 172.16.250.237 主机上 。

[root@localhost ~]# scp /root/.ssh/authorized_keys root@172.16.250.234:/root/.ssh/authorized_keys
root@172.16.250.234's password: 
authorized_keys                                                                                                                                                                                100% 1203     1.2KB/s   00:00    
[root@localhost ~]# scp /root/.ssh/authorized_keys root@172.16.250.237:/root/.ssh/authorized_keys
root@172.16.250.237's password: 
authorized_keys

复制完成后，查看known_hosts中的主机列表，发现此时172.16.250.233 主机的 known_hosts 中仅有172.16.250.234 和172.16.250.237 两台主机的信息，缺少172.16.250.233 主机自身的信息。

172.16.250.234 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBLCwNXd5foXYczn7wX3xzQ2hAiocLGOegUQrH0cItbjc8Tz2V0f6lCBRXhujblWp0M2uG+dDCGZoIiF3vH2Os8w=
172.16.250.237 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBL6CsqwCWhrdjYuTSscBvBV2zw3Cc65JCKvipalOW2qXEtb1YB+PUlruB78Y7NBMFFf2Yh/jePMIofEQigOhCyY=

所以需要ssh免密登录一次将自身的主机信息添加到known_hosts列表中。

[root@localhost ~]# ssh 172.16.250.233

 再次查看 172.16.250.233 主机的 known_hosts 主机列表， 172.16.250.233 主机自身的信息也被添加进来了。

172.16.250.234 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBLCwNXd5foXYczn7wX3xzQ2hAiocLGOegUQrH0cItbjc8Tz2V0f6lCBRXhujblWp0M2uG+dDCGZoIiF3vH2Os8w=
172.16.250.237 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBL6CsqwCWhrdjYuTSscBvBV2zw3Cc65JCKvipalOW2qXEtb1YB+PUlruB78Y7NBMFFf2Yh/jePMIofEQigOhCyY=
172.16.250.233 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBLKwyvKdYnXzYxbV2hoTaj3etYr5YTUvL0BNcdqOZfK5TIfg3yJdSKYC8AM6OmKYQHs8RxKjuaf47cPYs1OTURk=

在 172.16.250.233 主机上执行以下命令将生成的 known_hosts 文件也复制到 172.16.250.234 和 172.16.250.237 主机上 。

[root@localhost ~]# scp /root/.ssh/known_hosts root@172.16.250.234:/root/.ssh/known_hosts 
known_hosts                                                                                                                                                                                    100%  528   503.0KB/s   00:00    
[root@localhost ~]# scp /root/.ssh/known_hosts root@172.16.250.237:/root/.ssh/known_hosts 
known_hosts

设置认证文件访问权限（234和237）

在 172.16.250.234 和 172.16.250.237 两台主机上分别执行如下命令，修改认证文件的访问权限。

[root@localhost ~]# chmod 700 /root/.ssh
[root@localhost ~]# chmod 600 /root/.ssh/authorized_keys

SSH免密码登录测试

在 172.16.250.237 主机上执行 ssh 172.16.250.234 命令就能够免密码登录 172.16.250.234 主机了。

[root@localhost ~]# ssh 172.16.250.234
Last login: Mon Dec 23 17:12:07 2019 from 172.16.250.233

SSH免密码登录详细配置，请参考文章：https://blog.csdn.net/pengjunlee/article/details/80919833

安装ClusterShell

在 172.16.250.233 主机上执行如下命令来安装ClusterShell。

yum -y install clustershell

若安装不成功，可以自己编译安装：https://blog.csdn.net/pengjunlee/article/details/103670636

ClusterShell安装完成后 ，编辑 /etc/clustershell/groups 文件。

[root@localhost clustershell-1.7.3]# vim /etc/clustershell/groups

在 /etc/clustershell/groups 文件中添加一个 Kafka 组。

kafka: 172.16.250.233 172.16.250.234 172.16.250.237

安装并启动Zookeeper集群

Zookeeper集群的详细安装配置过程，请参考文章：https://blog.csdn.net/pengjunlee/article/details/81637024

安装并配置Kafka集群

下载安装包

在 172.16.250.233 主机上执行如下命令下载Kafka的安装包。 

# 下载 kafka_2.13-2.4.0.tgz 安装包到 /usr/local/src/ 目录
[root@localhost ~]# wget -P /usr/local/src/ http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz
# 将 kafka_2.13-2.4.0.tgz 安装包解压到 /usr/local/ 目录
[root@localhost ~]# tar -zxvf /usr/local/src/kafka_2.13-2.4.0.tgz -C /usr/local/
# 切换至 Kafka 解压的 /bin 目录
[root@localhost kafka_2.13-2.4.0]# cd /usr/local/kafka_2.13-2.4.0/bin/

集群配置

使用 vim config/server.properties 命令编辑 config/server.properties 配置，主要修改如下5个配置项。

# Kafka 服务器的唯一ID
broker.id=0
# Kafka 的监听地址
listeners=PLAINTEXT://172.16.250.233:9092
# Kafka 供生产者和消费者访问的地址
advertised.listeners=PLAINTEXT://172.16.250.233:9092
# Zookeeper 集群地址
zookeeper.connect=172.16.250.233:2181,172.16.250.234:2181,172.16.250.237:2181
# 消息数据保存目录
log.dirs=/tmp/kafka-logs

接下来将 172.16.250.233 主机上的 /usr/local/kafka_2.13-2.4.0/ 目录复制到 另外两台机器上。

[root@localhost kafka_2.13-2.4.0]# clush -g kafka --copy /usr/local/kafka_2.13-2.4.0/

使用 vim config/server.properties 命令，将 172.16.250.234 和 172.16.250.237 两台服务器上 Kafka 的 broker.id 分别改为 1 和 2 ，并将 listeners 和 advertised.listeners 两个配置项中的Host改为它们自己的IP。

启动集群

我们可以使用 ClusterShell 来启动集群，若 ClusterShell 不好使就自己挨个启动一下： 

[root@localhost ~]# clush -g kafka /usr/local/kafka_2.13-2.4.0/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.13-2.4.0/config/server.properties

确认集群启动成功之后创建一个topic进行测试。 

[root@localhost local]# /usr/local/kafka_2.13-2.4.0/bin/kafka-topics.sh --zookeeper 172.16.250.233:2181 --create --topic topic1 --partitions 3 --replication-factor 2
Created topic topic1.
[root@localhost local]# /usr/local/kafka_2.13-2.4.0/bin/kafka-topics.sh --zookeeper 172.16.250.233:2181 --describe --topic topic1
Topic: topic1	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: topic1	Partition: 0	Leader: 1	Replicas: 1,2	Isr: 1,2
	Topic: topic1	Partition: 1	Leader: 2	Replicas: 2,0	Isr: 2,0
	Topic: topic1	Partition: 2	Leader: 0	Replicas: 0,1	Isr: 0,1

接下来，我们启动一个 Console 消费者。

# 启动一个 Console 消费者，消费 topic1 主题
[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1

再打开一个新的命令行窗口并启动一个 Console 生产者创建一条消息。

/usr/local/kafka_2.13-2.4.0/bin/kafka-console-producer.sh --broker-list 172.16.250.233:9092,172.16.250.234:9092,172.16.250.237:9092 --topic topic1
>hello kafka

在 Console 消费者的命令行窗口中若能同步看到 Console 生产者创建的消息则证明Kafka安装成功。

pengjunlee
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析、数据挖掘、算法工程师、大数据分析师的区别是什么？爬招聘网站用数据来全方位分析
科多大数据的博客
10-24 2万+
大数据行业经过几年的发展和沉淀，大数据项目岗位细分领域已经趋于完善，本文主要探讨在大数据分析这个领域，通过爬虫爬取各个招聘网站的相关数据，对细分岗位进行深入分析，本文的呈现，感谢科多大数据数据分析培训班第10期学员“NO.1”团队的技术支持。 此次分析结果呈现经历三个阶段： 细分查询目标 确定数据源获取范围 数据清洗、准备 数据源获取的比例，分别来自拉勾、智联、51job等等网站，如下如：...
数据挖掘十大算法
weixin_39484738的博客
10-15 9826
数据挖掘十大算法一、C4.5 算法二、K-Means 算法三、朴素贝叶斯算法四、K 最近邻分类算法（KNN）五、EM 最大期望算法六、PageRank 算法七、AdaBoost八、Apriori 算法九、SVM 支持向量机十、CART 分类与回归树 一、C4.5 算法 ID3 算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。 C4.5 算法核心思想是ID3 算法，是ID3 算法的改进，改进方面有：
kafka(14) 环境搭建（源码包方式）
RichardGeek的博客
11-04 902
If you also want to delete any data of your local Kafka environment including any events you have created along the way, run the command: $ rm -rf /tmp/kafka-logs /tmp/zookeeper CONGRATULATIONS! You have successfully finished the Apache Kafka quick...
kafka深入理解
mn_kw的博客
04-10 1592
JMS:java message service   java 的消息服务 传递消息：如果是进程内部直接对象间传参就行                  进程间就涉及到串行化了（ipc 进程间通信  rpc:远程过程调用） Kafka  高吞吐量的分布式文件系统 如果a:有消息发给b 需要socket套接字  直接发送就可以，但这样耦合度很高，必须保持消息的发送者和消息的接受者必须在线 现在的解决...
kafka安装注意事项
weixin_44892460的博客
01-25 168
近期学习kafka，安装的时候总是报错，记录一下 安装kafka需要先启动zookeeper，如果以前安装过zookeeper，需要改zookeeper.properties文件,添加如下配置 注意：/tmp需要存在 dataDir=/tmp/kafka/kafka_2.12-2.0.0/zookeeper/data/dataDir #zookeeper数据目录 (可以修改可以不修改) dataLogDir=/tmp/kafka/kafka_2.12-2.0.0/zookeeper/data/dataL
kafka+zookeeper安装配置
kw-home
02-26 1万+
1、安装zookeeper步骤1：下载并解压zookeeper安装包tar -zxvf zookeeper-3.4.11.tar.gz 步骤2：配置环境变量 export ZOOK=/opt/hadoop/zookeeper-3.4.11 步骤3：配置文件 zoo.cfgcd conf/ 复制配置文件： cp zoo_sample.cfg zoo.cfg 修改配置文件： #数据目录 dataDir...
centos6使用docker部署kafka项目的方法分析
09-29
主要介绍了centos6使用docker部署kafka项目的方法,结合实例形式分析了centos6环境下使用docker部署kafka项目的相关命令与使用技巧,需要的朋友可以参考下
Centos下kafka集群环境部署记录-实操手册（kafka-mamager）
08-29
本文详细记录了Centos下kafka集群环境部署过程，完全可以做实操手册。在此分享，希望能帮助到有用到的朋友！
linux contos6.8下部署kafka集群的方法
01-11
1、官网下载，分别在每台机器上解压安装 # 创建kafka的安装目录 mkdir -p /usr/local/software/kafka # 解压 tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/ 2、修改每台服务器的/etc/profile文件...
kafka部署日志（含安装包）.zip
05-07
kafka部署安装，kafka_2.12-2.4.1.tgz，含安装包以及详细安装步骤。
数据挖掘十大经典算法
热门推荐
莫等闲
05-01 37万+
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法，其实参加评选的18种算法，实际
【Kafka】基本使用：安装、集群搭建、命令操作（阿里云搭建踩坑记录）
A minor
11-14 1187
1.Kafka安装部署 1.1 单机模式 1).下载kafka。 https://kafka.apache.org/downloads 2).安装解压。 已经编译好的，直接解压就行（tar -zxvf kafka_2.11-2.0.0.tgz ） 3).启动zookeeper。 因为kafka依赖于zookeeper来做master选举一起其他数据的维护，所以需要先启动zookeeper节点 kafka内置了zookeeper的服务，所以在bin目录下提供了zk的启动和关闭脚本zookeeper-ser
kafka命令及启动
乐乐的博客
08-14 914
先启动zookeeper,默认自带的 bin/zookeeper-server-start.sh config/zookeeper.properties 然后启动kafka服务 bin/kafka-server-start.sh config/server.properties 列举拥有哪些topics bin/kafka-topics.sh --list --bootstrap-server localhost:9092 在服务器上打开一个生产者，然后把输入的每行数据发送到kafka中的命令 bin
数据分析师还是算法工程师｜用数据多角度解读如何选择
早起Python
03-17 1万+
前言 疫情即将散去，又到了求职季。学习Python的各位该如何选择自己的职业方向，算法工程师还是数据分析师？跟随本文一起看看吧！ 01 数据获取与处理 本次样本数据采集于拉勾网，因为本文的重点是招聘数据分析，而在之前的文章中我们讲解过很多次如何使用requests爬取网页数据，这里就不再赘述，来看下爬取网站部分代码 url_html ='https://www.lagou.com/jo...
数据挖掘工程师 VS. 算法工程师
光尘的博客
11-06 4279
算法工程师的范围是小于数据挖掘工程师的 数据挖掘工程师需要了解整套数据流入的过程，包括数据的接入、预处理，然后需要知道怎么用数据解决实际的业务问题，说白就是想办法让数据产生价值。 他需要知道一整个数据到业务输出的机制或者说是系统，可能涉及到复杂的算法转化，也可能只是简单的规则转化，或者多个模型的转化组合输出等等，他是一个比较全面而概括性定位。 算法工程师则不一样，他们的职责我认为更纯粹，他们...
zookeeper和kafka的启动和关闭顺序及注意事项
weixin_39434182的博客
11-17 5793
首先：一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。 先关闭kafka ，再关闭zookeeper。 其次：还遇到的问题是，打zk启动命令时候，没有加上-daemon。 这样ctrl+c切出去，再启动kafka的时候，zk不能在后台继续运行。就会报错连接不上zk。很多贴子上都没注意写-daemon这个问题。就强调一下，避免大家踩坑。 启动zk的命令： ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 启
Kafka学习笔记--快速开始
IT老兵的驿站
01-17 628
前言 书接前文，这一篇笔记记录一下Kafka如何配置（总体而言）。本篇文章主要是结合Kafka的quickstart的文章来理解，打算中英文混排--尽管这样做，是很多如何学好英语的建议里面所极力反对的--这样做，是为了简化书写，抓住重点进行记录。 正文 Step 1: Download the code Downloadthe 2.1.0 release and un-tar it. ...
zookeeper启动时./zkServer.sh: line 113: /root/zookeeper-3.4.6/data/zookeeper_server.pid: Permission d错误
roc_wl的博客
09-23 3257
在配置安装好zookeeper之后执行zkServer.sh start发现提示: [itcast@localhost bin]$ ./zkServer.sh start JMX enabled by default Using config: /home/itcast/zookeeper-3.4.6/bin/../conf/zoo.cfg mkdir: cannot create direc...
kafka启动过程中的一个小问题
liuxingen的专栏
11-06 5996
最近项目要用到kafka，按照网上的示例操作一遍，发现第一步就会报错，折腾了半天才发现问题的原因。这里记录一遍以避免同样的问题。 第一步下载了kafka的tar源码包，然后要启动zookeeper，执行如下命令： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 此时就会有如下的错误出现： 错误: 找不到或无法
centos上安装部署confluence
最新发布
05-20
在CentOS上安装和部署Confluence需要以下步骤： 1. 安装Java运行环境 在CentOS上安装Java运行环境可以使用yum命令安装，执行以下命令： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Confluence ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值