北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量
RSS订阅

KafkaUtils.createStream接收数据流程

KafkaUtils.createStream接收数据流程

2017-06-30 08:20:48

阅读数:2799

评论数:0

Kafka获取文件源码跟踪

目录:1、执行步鄹2、结果展现学习kafka提前参考:Kafka文件的存储机制http://blog.csdn.net/silentwolfyh/article/details/55095146Kafka:无丢失提取kafka的值,详解kafka的消费过程http://blog.csdn.net/...

2017-02-16 12:47:55

阅读数:713

评论数:0

HttpServer发送数据到kafka

目录1、需求2、框架结构图和步鄹图3、代码结构4、代码展现———————————————————————-1、需求1.1、解析路径,将路径的最后一个字符串作为Appkey; 1.2、数据缓存,当Kafka无法正常访问时在本地Cache目录缓存数据; 1.3、安全验证,对请求的appkey进...

2017-02-15 09:53:16

阅读数:3149

评论数:2

Kafka文件的存储机制

目录:1、Kafka是什么2、前言3、Kafka文件存储机制–实际运行效果4、总结————————————————————————————————–1、Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志...

2017-02-14 09:58:03

阅读数:2241

评论数:0

SparkStreaming无丢失读取Kafka且转为DataFrame

目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次...

2017-02-09 10:00:30

阅读数:4099

评论数:4

Kafka:无丢失提取kafka的值,详解kafka的消费过程

目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelpe...

2017-02-06 13:05:53

阅读数:4477

评论数:0

Kafka:Kafka的生产和消费(Java版本)

目录:1、代码2、POM3、展示—————————————————————————————1、代码package com.donews.data.kafkatest;import java.io.BufferedReader; import java.io.FileReader; import j...

2017-01-23 16:08:57

阅读数:2040

评论数:0

Kafka:无丢失将kafka的值读取到hbase

目录1、需求2、代码1、需求功能:将kafka数据读取到HBASE中 步鄹:        1、提取topicName在zookeeper中的offset        2、循环读取topicName中的offset且对比zookeeper中的offset        3、将提取的数据转...

2016-10-31 19:44:25

阅读数:4261

评论数:0

kafka:python获取kafka的值

需求:获取通过python查看kafka中的值#!/user/local/python2.6.6/bin/python # -*- coding: utf-8 -*- # __project__ = src # __author__ = kassien@163.com # __date__ = 2...

2016-10-19 16:58:41

阅读数:5164

评论数:0

Kafka主要参数详解

原文档地址:http://kafka.apache.org/documentation.html ############################# System ############################# #唯一标识在集群中的ID,要求是正数。 broker...

2016-05-03 19:14:25

阅读数:437

评论数:0

kafka删除topicName 提示marked for deletion

kafka 删除topic 提示marked for deletion [root@shadoop11 kafka_2.10-0.9.0.0]# kafka-topics.sh --delete --zookeeper localhost:2181 --topic yuhui-001 Topic...

2016-05-03 19:09:37

阅读数:11616

评论数:0

kafka基本使用实战

Kafka路径 /opt/cloudera/parcels/KAFKA Kafka TopicName 查看  bin/kafka-topics.sh --list --zookeeper localhost:2181 Kafka TopicName 删除 bin/kafka-topi...

2016-04-11 13:57:50

阅读数:804

评论数:0

提示
确定要删除当前文章?
取消 删除