kafka python客户端_docker-在高山容器中使用confluent-kafka python客户端

这篇博客讲述了作者在尝试在基于Alpine的Docker容器中运行一个使用Confluent-Kafka Python客户端的应用时遇到的问题。Dockerfile包括安装librdkafka和相关依赖,但在构建过程中出现了对libcrypto.so.41和libssl.so.43的依赖错误。作者询问了如何在不构建容器内部的情况下解决这个问题,或者如何确保libssl和libcrypto.so正确工作。
摘要由CSDN通过智能技术生成

我正在尝试运行一个与kafka通信的简单python应用程序.我正在寻找使用高山容器的容器.这是我当前的dockerfile(这不是最佳选择……只是​​试图让事情现在起作用).

FROM python:3.6-alpine

MAINTAINER Ashic Mahtab (ashic@live.com)

RUN mkdir -p /usr/src/app

WORKDIR /usr/src/app

RUN echo "http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories

RUN apk update && apk --no-cache add librdkafka

COPY requirements.txt /usr/src/app/

RUN pip install --no-cache-dir -r requirements.txt

COPY api /usr/src/app/api

COPY static /usr/src/app/static

CMD ["python","api/index.py"]

需求文件中包含confluent-kafka.构建失败

OK: 8784 distinct packages available

fetch http://dl-cdn.alpinelinux.org/alpine/v3.4/main/x86_64/APKINDEX.tar.gz

fetch http://dl-cdn.alpinelinux.org/alpine/v3.4/community/x86_64/APKINDEX.tar.gz

fetch http://dl-cdn.alpinelinux.org/alpine/edge/community/x86_64/APKINDEX.tar.gz

ERROR: unsatisfiable constraints:

so:libcrypto.so.41 (missing):

required by:

librdkafka-0.9.4-r1[so:libcrypto.so.41]

librdkafka-0.9.4-r1[so:libcrypto.so.41]

librdkafka-0.9.4-r1[so:libcrypto.so.41]

so:libssl.so.43 (missing):

required by:

librdkafka-0.9.4-r1[so:libssl.so.43]

librdkafka-0.9.4-r1[so:libssl.so.43]

librdkafka-0.9.4-r1[so:libssl.so.43]

我的问题是a)有没有一种方法可以在不建立容器内部的情况下使它正常工作?如果我可以简单地将库复制到阿尔卑斯山,那就足够了.或者即使我可以复制librdkafka. b)如果没有,如何使libssl和libcryto.so工作?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!如果您想使用 Docker Compose 部署 Kafka,并使用 Kafka 2.8.0+ 版本引入的 KRaft 模式,可以按照以下步骤进行操作: 1. 创建一个名为 `docker-compose.yml` 的文件,并在其定义 Kafka 服务。示例内容如下: ```yaml version: '3' services: kafka: image: confluentinc/cp-kafka:latest hostname: kafka container_name: kafka ports: - "9092:9092" environment: KAFKA_KRAFT_MODE: "true" KAFKA_LISTENERS: "PLAINTEXT://:9092" KAFKA_LOG_MESSAGE_FORMAT_VERSION: "2.8" KAFKA_KRAFT_CONTROLLER_QUORUM_VOTERS: "1@kafka:9092" KAFKA_KRAFT_BROKER_ADDRESS_RESOLUTION: "broker" KAFKA_KRAFT_BROKER_ID_GENERATION_METHOD: "ROUND_ROBIN" KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false" volumes: - ./data/kafka:/var/lib/kafka/data depends_on: - zookeeper zookeeper: image: confluentinc/cp-zookeeper:latest hostname: zookeeper container_name: zookeeper ports: - "2181:2181" ``` 在上面的示例,我们使用Confluent 提供的 Kafka 镜像,并将 Kafka 服务映射到主机的 9092 端口。同时,我们也定义了一个名为 `zookeeper` 的服务,用于支持 Kafka。 2. 运行以下命令启动 Kafka 服务: ```bash docker-compose up -d ``` 这将在后台启动 Kafka 和 ZooKeeper 服务,并使用 KRaft 模式进行配置。 请注意,KRaft 模式是 Kafka 2.8.0+ 引入的新模式,用于提供一个高可用的分布式 Kafka 集群,不再依赖于外部的 ZooKeeper。在 KRaft 模式下,Kafka 的控制器角色会被多个 broker 共享,从而实现了高可用性。 希望以上信息能对您有所帮助!如果您有任何其他问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值