confluent-kafka-go依赖库编译体验优化

已于 2022-12-21 11:27:07 修改
阅读量1.9k 收藏 4
点赞数 1
分类专栏： go 消息队列 文章标签： kafka golang docker
于 2022-11-17 10:16:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wen3qin/article/details/127898723
版权
本文介绍了解决Go项目中confluent-kafka-go库在MacOS环境下跨平台编译到Linux时遇到的问题。通过在Docker环境中进行编译，避免了本地环境配置复杂性和不一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

问题描述：

​ 在项目中使用了go的kafka库confluent-kafka-go，go run运行正常。因为开发环境是MacOS，部署环境是基于centos的docker镜像使用二进制运行，在使用env GOOS=linux GOARCH=amd64 go build -o ./main ./main.go交叉编译时却报错了。

​ 经过查询在TonyBai老师的文章中找到了答案。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ETVt8Z5T-1668651263858)(/Users/vince/Library/Application Support/typora-user-images/image-20221116102701545.png)]

但是对于我的机器，似乎开启CGO_ENABLED都不生效。
在这里插入图片描述

解决方案

为了避免环境的影响以及本机安装依赖库的繁琐，选择了通过在docker镜像进行打包来规避。以下为操作步骤：

1：编写Dockerfile文件

在项目同级目录编写Dockerfile文件，以本人项目business-product-sync为例，基于golang:1.16镜像，参考如下：

FROM golang:1.16

LABEL AUTHOR vince@hyx.com

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ADD ./business-product-sync /go/src/business-product-sync/

CMD cd business-product-sync
CMD go env -w GOPROXY=https://mirrors.aliyun.com/goproxy/,direct
CMD go env -w GOPRIVATE=gogs.miz.so
CMD go mod tidy
2：运行Docker镜像
docker build  -t business-product-sync:v0.15 .
docker run --rm -it business-product-sync:v0.15  bash
3：进入镜像进行编译
CMD CGO_ENABLED=1 GOOS=linux GOARCH=amd64  go build  -tags  netgo -o ./main ./main.go

这里因为比较消耗资源，可以适当将docker的占用CPU和内存调大，否则镜像会挂。

4：将编译成功的二进制文件复制到本机

使用docker cp命令将镜像中的生成二进制文件复制到本机

docker cp fdc68fb3d2fe:/go/src/business-product-sync/main

以上操作完成基本就完成了整个的编译过程了。

参考地址

Cross-compilation support：https://github.com/confluentinc/confluent-kafka-go/issues/119
Go社区主流Kakfa客户端简要对比：https://tonybai.com/2022/03/28/the-comparison-of-the-go-community-leading-kakfa-clients/

Golang编译使用confluent-kafka-go库的项目报错：undefined reference to `__imp__wassert‘
hblzong的博客
07-27 1240
找到GOPATH\pkg\mod\github.com\confluentinc\confluent-kafka-go@v1.9.2\kafka\build_windows.go 增加 -lmsvcr110。原因是编译这个库的时候导致的，因为此库用到了cgo，因此需要设置CGO_ENABLED=1。在C:\Windows\System32 目录下找到msvcrXX.dll，比如如下目录。然后再次编译就不会报这个错误了，但是会报一个新的错误。经检查代码逻辑这个指针是有赋值的。最后在CSDN上搜到了解决方法。
如何使用 GraalVM 减少与 Kafka 集成测试中的内存消耗
07-16 1302
在本文中，我想分享我使用 GraalVM 为 EmbeddedKafka 创建本机映像的经验。在集成测试中使用此映像不仅可以加快测试场景的执行速度，还可以减少内存消耗。有趣的是，与在 Testcontainers 中使用confluentinc/cp-kafka相比，在速度和内存使用方面存在明显差异EmbeddedKafka、Testcontainers 和 GraalVM项目中使用的...
【Go】confluent-kafka-go的编译问题
runzhliu大数据/容器日记
03-11 2080
最近在给组里用到的镜像瘦身，也就是用一个更轻一点的基础镜像来重新构建服务的镜像，然后发现我们的项目 indirect 依赖到了 confluent-kafka-go，然后这玩意是需要在本地环境用到 librdkafka，这是一个用 C++ 写的 Kafka 的库，如果不熟悉 C++的朋友，搞起来就会很费劲。 说下编译遇到的问题，本地执行 go build 发现下面的报错。 gopkg.in/confluentinc/confluent-kafka-go.v1/kafka # pkg-config --cfl
03--GO语言连接kafka
qq_43077864的博客
03-15 235
这是一个简单的使用go语言连接懂啊kafka队列范例。
【confluent-kafka-go交叉编译】MacOS编译linux可执行文件
一只奋斗的小虫的博客
04-11 505
由于引入了github.com/confluentinc/confluent-kafka-go/kafka，需要在macos上面编译出linux的可执行文件。
Mac(M1)使用confluent-kafka-go
qq_16077549的博客
10-21 1360
1.准备环境 安装pkg-config,librdkafka,openssl brew install pkg-config brew install librdkafka brew install openssl 2.golang中配置运行环境 PKG_CONFIG_PATH=/opt/homebrew/opt/openssl@1.1/lib/pkgconfig -tags dynamic 3.debug运行
开源项目-confluentinc-confluent-kafka-go.zip
10-22
开源项目-confluentinc-confluent-kafka-go.zip,Kafka go client - Confluent
探索Confluent Kafka Go：高效、可靠的实时数据流处理库
gitblog_00058的博客
03-21 534
探索Confluent Kafka Go：高效、可靠的实时数据流处理库 confluent-kafka-goConfluent's Apache Kafka Golang client项目地址:https://gitcode.com/gh_mirrors/co/confluent-kafka-go 是一个由Confluent公司维护的开源库，它提供了Go语言对Apache Kafka的高级API...
confluent-kafka安装报错
02-05
### confluent-kafka-go 安装错误解决方案 #### 解决依赖项缺失问题 如果在执行 `go get` 命令时遇到依赖项缺失或其他编译错误，建议先清理工作区并重新获取最新版本的包： ```bash go clean -modcache go get -u ...
Building wheel for confluent-kafka (pyproject.toml) ... error error: subprocess-exited-with-error × Building wheel for confluent-kafka (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [258 lines of output] /tmp/pip-build-env-_7wo6gb5/overlay/lib/python3.10/site-packages/setuptools/dist.py:599: SetuptoolsDeprecationWarning: Invalid dash-separated key 'index-url' in 'easy_install' (setup.cfg), please use the underscore name 'index_url' instead. !! ******************************************************************************** Usage of dash-separated 'index-url' will not be supported in future versions. Please use the underscore name 'index_url' instead. By 2026-Mar-03, you need to update your project and remove deprecated calls or your builds will no longer be supported. See https://setuptools.pypa.io/en/latest/userguide/declarative_config.html for
最新发布
04-24
`confluent-kafka` 的 Python 绑定依赖 C 库 `librdkafka`，需确保其开发包已安装。 - **Linux (Ubuntu/Debian)**： ```bash sudo apt-get update sudo apt-get install -y librdkafka-dev libssl-dev zlib1g-...
Confluent Kafka Go库实现Kafka生产者示例教程
Go语言社区提供了多个Kafka客户端库，而`confluent-kafka-go`是Confluent官方发布的Go版本的Kafka客户端库。Confluent是由Kafka的原始创建者Apache Kafka项目的一部分，因此该库被认为是非常权威和稳定的。它提供了...
confluent-kafka-go-producer-example：基于Confluent的Kafka Go库的Kafka生产者示例
02-14
概述 本存储库包含Kafka生产者的示例性实现。 该实现基于Confluent Kafka Go库和Confluent的示例实现的略微扩展，可以在找到。 用法 要构建Kafka生产者，只需执行以下命令： $ make 确保之前已安装。 可以使用以下命令运行示例应用程序： confluent-kafka-go-producer-example-amd64 -c config.yaml process
Confluent的Apache Kafka Golang客户端-Golang开发
05-26
Confluent用于Apache KafkaTM的Golang客户端confluent-kafka-go是Confluent用于Apache Kafka和Confluent平台的Golang客户端。 特点：高性能-confluent-kafka-go是librd的轻量级包装，用于Apache KafkaTM的Confluent的Golang客户端TM confluent-kafka-go是用于Apache Kafka和Confluent平台的Confluent的Golang客户端。 特点：高性能-confluent-kafka-go是围绕librdkafka（一种经过微调的C客户端）的轻量级包装。 可靠性-编写Apache Kafka客户端时，有很多细节需要正确处理。 我们将它们放在一个地方（librdkafka），并在所有客户中利用这项工作（还有confluent-kafka-python和confluent-kafka-dotnet）。
kafka实时读取sqlserver数据_SQLServer CDC数据通过Kafka connect实时同步至分析型数据库 AnalyticDB For PostgreSQL及OSS-阿里云开发者社...
weixin_28753113的博客
01-14 405
背景SQLServer为实时更新数据同步提供了CDC机制，类似于Mysql的binlog，将数据更新操作维护到一张CDC表中。开启cdc的源表在插入INSERT、更新UPDATE和删除DELETE活动时会插入数据到日志表中。cdc通过捕获进程将变更数据捕获到变更表中，通过cdc提供的查询函数，可以捕获这部分数据。CDC的使用条件1.SQL server 2008及以上的企业版、开发版和评估版；2....
142. Go操作Kafka（confluent-kafka-go库）
YouMing_Li的博客
09-01 2703
是一个开源分布式事件流平台，用于高性能数据管道、流式分析、数据集成和关键任务应用程序。它提供了诸如流数据管道、实时分析、数据集成、事件源和日志聚合等多种能力。Kafka的用例和能力流数据管道：Kafka提供了一个分布式发布-订阅消息系统，可以在系统或应用程序之间流式传输数据。它提供了具有数据复制和容错能力的强大队列。Kafka允许使用工具如和KSQL处理实时数据流，用于构建流式分析和数据处理应用程序。Kafka可以用来通过在不同数据源和格式之间流式传输数据来集成不同的系统。这使它对流式ETL非常有用。
go语言编译优化
q1454739828的博客
03-25 1298
go语言编译优化 go语言能够快速编译成二进制可执行文件，能够加速程序的发布和安装流程。下面我们将编译选项和第三方压缩工具两方面来介绍如何有效地减小 Go 语言编译后的体积。 下面我们写一个简单的测试工程来测试不同方式的效果 下面的程序启动一个RPC服务， package main import ( "log" "net/http" "net/rpc" ) // 编译优化 type Result struct { Num, Ans int } type Calc int func (calc
解决 confluent-kafka-go 在windows下未定义的引用 __imp__wassert 错误
qq_26249609的博客
02-28 1171
找到 GOPATH\pkg\mod\github.com\confluentinc\confluent-kafka-go@v1.9.2\kafka\build_windows增加链接库 msvcrXX 即可，例 msvcr120d 或者看下 C:\Windows\System32 有哪个版本的 msvcrXX.dll 及 mingw64 也有相同版本的 库。编译成功后，如果提示找不到 msvcr120d.dll， 则下载个放到 C:\Windows\System32 下即可。
强大的 Go 语言实现的 Apache Kafka 客户端 —— confluent-kafka-go
gitblog_00160的博客
08-15 1082
强大的 Go 语言实现的 Apache Kafka 客户端 —— confluent-kafka-go confluent-kafka-goConfluent's Apache Kafka Golang client项目地址:https://gitcode.com/gh_mirrors/co/confluent-kafka-go 在分布式系统和流处理领域，Apache Kafka 已经成为不可或...
go 语言使用confluent-kafka-go/kafka库
01-07
### 如何在Go语言中使用 Confluent-Kafka-Go 库 #### 安装Confluent-Kafka-Go库 为了能够顺利地使用`confluent-kafka-go`库，首先需要确保已经安装了该库以及其依赖项。可以通过以下命令来安装这个包： ```bash go get github.com/confluentinc/confluent-kafka-go/kafka ``` 需要注意的是，由于此客户端依赖于C++版本的librdkafka库，因此还需要单独安装它。对于不同的操作系统有不同的安装方法[^2]。 #### 创建Kafka生产者实例并发送消息 下面是一个简单的例子展示怎样创建一个Kafka生产者的实例并向指定主题发布一条消息: ```go package main import ( "fmt" "log" "github.com/confluentinc/confluent-kafka-go/kafka" ) func main() { p, err := kafka.NewProducer(&kafka.ConfigMap{ "bootstrap.servers": "localhost:9092", }) if err != nil { log.Fatalf("Failed to create producer: %s", err) } defer p.Close() go func() { for e := range p.Events() { switch ev := e.(type) { case *kafka.Message: if ev.TopicPartition.Error != nil { fmt.Printf("Delivery failed: %v\n", ev.TopicPartition) } else { fmt.Printf("Delivered message to %v\n", ev.TopicPartition) } default: fmt.Println(ev) } } }() topic := "test-topic" value := []byte("Hello from confluent-kafka-go!") err = p.Produce(&kafka.Message{ TopicPartition: kafka.TopicPartition{Topic: &topic, Partition: kafka.PartitionAny}, Value: value, }, nil) if err != nil { log.Printf("Produce error: %v", err) } p.Flush(15 * 1000) } ``` 这段代码展示了如何配置连接到本地Kafka集群(`localhost:9092`)的一个生产者，并向名为`test-topic`的主题发送了一条字符串形式的消息。此外还设置了事件监听器用于处理消息传递的结果反馈。 #### 构建Kafka消费者接收数据 这里给出一段用来订阅特定主题并将接收到的数据打印出来的消费端程序片段： ```go package main import ( "context" "fmt" "os" "os/signal" "time" "github.com/confluentinc/confluent-kafka-go/kafka" ) func main() { consumer, err := kafka.NewConsumer(&kafka.ConfigMap{ "bootstrap.servers": "localhost:9092", "group.id": "myGroup", "auto.offset.reset": "earliest", }) if err != nil { panic(err) } topics := []string{"test-topic"} consumer.SubscribeTopics(topics, nil) ctx, cancel := context.WithCancel(context.Background()) signals := make(chan os.Signal, 1) signal.Notify(signals, os.Interrupt) go func() { sig := <-signals fmt.Printf("\nCaught signal %v: terminating...\n", sig) cancel() }() run := true for run { select { case <-ctx.Done(): run = false default: ev := consumer.Poll(100) if ev == nil { continue } switch e := ev.(type) { case *kafka.Message: fmt.Printf("Consumed message on topic-partition %v/%d at offset %v:\n%s\n", e.TopicPartition.Topic, e.TopicPartition.Partition, e.TopicPartition.Offset, string(e.Value)) case kafka.AssignedPartitions: fmt.Fprintf(os.Stdout, "Assigned Partitions: %+v\n", e.Partitions) case kafka.RevokedPartitions: fmt.Fprintf(os.Stdout, "Revoked Partitions: %+v\n", e.Partitions) case kafka.Error: fmt.Fprintf(os.Stderr, "Error: %v\n", e) default: fmt.Printf("Ignored %v\n", e) } } time.Sleep(time.Second / 3) } consumer.Close() } ``` 上述脚本实现了基本的功能——启动后会持续轮询来自所关注主题的新消息直到捕获到中断信号为止；期间任何到达的信息都会被立即显示出来。同时支持动态调整分配给当前消费者的分区列表变化情况的通知机制。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

电商架构修炼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值