Kafka
文章平均质量分 52
BornZhu
这个作者很懒,什么都没留下…
展开
-
Flume和Kafka的整合完成实时数据采集
1.Flume和Kafka整合框架 2.写FLUME的agent配置文件 exec-memory-avro.conf exec-memory-avro.sources = exec-source exec-memory-avro.sinks = avro-sink exec-memory-avro.channels = memory-channel exec-memor原创 2017-12-02 10:25:26 · 2294 阅读 · 0 评论 -
Kafka Consumer Java API实现
在之前生产者的基础上 1.Kafka配置类 public class KafkaProperties { public static final String ZK = "192.168.254.128:2181"; public static final String TOPIC = "hello_topic"; public static final Strin原创 2017-12-01 20:30:13 · 1380 阅读 · 1 评论 -
kafka踩到的坑:kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries. 遇到该错误主要有以下几种原因 1.服务器的zookeeper和kafka未开启 2.配置文件中,没有配置advertised.host.name和advertised.port 3.服务器防火墙未关闭,或者无法连接9092端口原创 2017-11-30 21:21:56 · 6536 阅读 · 0 评论 -
kafka producer java API的实现
1.开发环境的构建 使用IDEA+MAVEN构建开发环境,可以采用Maven中scala-archetype-simple模板。 2.pom.xml的配置 这里scala版本为2.11.8,kafka版本为0.9.0.0 2.11.8 0.9.0.0 org.scala-lang scala-library ${原创 2017-11-30 20:20:59 · 1188 阅读 · 0 评论 -
Kafka的部署
1.安装Zookeeper 百度cdh5,获取下载链接地址,wget命令下载Zookeeper; 解压安装,tar -zxvf 2.配置Zookeeper到系统的环境变量 vi ~/.bash_profile export ZK_HOME=/home/bigdata/app/zookeeper-3.4.5-cdh5.7.0 export PATH=$ZK_HOME/bin:$原创 2017-11-27 21:39:46 · 300 阅读 · 0 评论 -
Kafka Schema Registry简介
Schema Registry Schema Registry为你的元数据信息提供服务层。它提供了RESTFUL接口用于存储Avro schemas,它存有版本化的历史记录,提供多个兼容性设置,并根据兼容性设置对schema进行调整。 API Schemas GET /schemas/ids/{int:id} 通过input id获取schema string,id是schema的...原创 2019-07-05 17:01:22 · 6332 阅读 · 0 评论