![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
bingo的
!!!!!!!!!!!!!!
展开
-
C++和java通过kafka、protobuf传递消息的一些问题
最近项目需要在c++端写入数据源到kafka中,使用flink程序分析数据源,首先想到的方法就是利用protobuf做序列化和反序列化。遇到一些问题,记录一下。首先准备好pb文件,C++端序列化成二进制文件,代码如下 int size = test.ByteSize(); char buffer[1024]; test.SerializeToArray(buffer, size)...原创 2019-12-02 13:37:50 · 2152 阅读 · 2 评论 -
intellij idea下测试flink 连接kafka
先新建一个quickstart的maven项目把官方给的SocketWindowWordCount程序 拷过来,稍微修改一下,只用来测试数据从kafka读入和写出的功能package kafkaTest3;import java.util.Properties;import org.apache.flink.api.common.functions.FlatMapFunction;...原创 2019-11-28 16:39:48 · 1866 阅读 · 0 评论 -
intellij idea 使用java操作kafka
首先新建一个快速开始的maven项目随意取个名字:后面的配置放再自己指定的项目路径下完成就行。项目生成后maven会自动更新一些东西,不用管他,更新完成后,把kafka的依赖加到pom.xml中。写个简单的测试程序,生成线程往kafka指定的topic里写东西。package kafkaTest3;import java.util.Properties;i...原创 2019-11-28 12:59:05 · 3320 阅读 · 3 评论 -
linux kafka 安装与测试
事先把java装好,环境变量设置好(省略)centos 下安装kafka过程:去到apache官网上下载图中这种Scala版本的,解压完,将文件拷到/usr/local/ 下,搞一个软链接/usr/local/kafka 指向它 ,需要sudo 权限。单机测试,使用kafka里自带的zookeeper,进到kafka目录,执行:sudo./bin/zookeeper-s...原创 2019-11-25 16:20:13 · 185 阅读 · 0 评论