kafka
领悟大数据
有多努力,就有多自由
展开
-
kafka-streams进行简单的数据清洗
package com.terry.kafkastream; import org.apache.kafka.streams.KafkaStreams; import org.apache.kafka.streams.StreamsConfig; import org.apache.kafka.streams.Topology; import org.apache.kafka.stre...原创 2018-12-18 11:57:45 · 1163 阅读 · 0 评论 -
kafka概述与安装
Kafka概述 hadoop -> 离线计算(hdfs/mapreduce) yarn zookeeper -> 分布式协调(动物管理员) hive -> 数据仓库(离线计算/sql)easy coding flume -> 数据采集 sqoop -> 数据迁移 mysql -> hdfs/hive hdfs/...原创 2018-12-18 11:58:40 · 128 阅读 · 0 评论 -
kafka shell 命令行操作
kafka的命令行操作 1、产看当前集群中已存在的主题topic bin/kafka-topics.sh --list --zookeeper bigdata:2181 2、创建主题topic bin/kafka-topics.sh --create --zookeeper bigdata:2181 --replication-factor 1 -...原创 2018-12-18 11:59:28 · 376 阅读 · 0 评论 -
kafka的生产者API
kafkaAPI producer { //配置生产者属性(指定多个参数) Properties prop = new Properties(); //参数配置 //kafka节点的地址 prop.put("bootstrap.servers","bigdata:9092"); //发送消息是否等待应答 prop.put("acks","all"); //配...原创 2018-12-18 12:00:54 · 136 阅读 · 0 评论 -
kafka自定义partition
自定义分区设置 class Partition implements Partitioner{ //设置 public void configure(Map<String, ?> configs) { } //分区逻辑 public int partition(String topic, Object key, byte[] keyBytes, Object...原创 2018-12-18 12:02:04 · 512 阅读 · 0 评论 -
kafka的consumer
consumer psvm{ //1.配置生产者属性(指定多个参数) Properties prop = new Properties(); //配置属性 //服务器地址指定 prop.put("bootstrap.server","bigdata:9092"); //配置消费者组 prop.put("group.id","g1"); //配置是否自动确认偏移...原创 2018-12-18 12:03:01 · 198 阅读 · 0 评论 -
kafka的拦截器API
拦截器 public class TimeInterceptor implements ProducerInterceptor<String, String>{ //设置信息 public void configure(Map<String, ?> configs) { } //业务逻辑 public ProducerRecord<Stri...原创 2018-12-18 12:03:46 · 111 阅读 · 0 评论