当前搜索:

KafkaUtils.createStream接收数据流程

KafkaUtils.createStream接收数据流程
阅读(1192) 评论(0)

Kafka获取文件源码跟踪

目录:1、执行步鄹2、结果展现学习kafka提前参考:Kafka文件的存储机制http://blog.csdn.net/silentwolfyh/article/details/55095146Kafka:无丢失提取kafka的值,详解kafka的消费过程http://blog.csdn.net/...
阅读(567) 评论(0)

Kafka文件的存储机制

目录:1、Kafka是什么2、前言3、Kafka文件存储机制–实际运行效果4、总结————————————————————————————————–1、Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志...
阅读(1196) 评论(0)

SparkStreaming无丢失读取Kafka且转为DataFrame

目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次...
阅读(2843) 评论(4)

Kafka:无丢失提取kafka的值,详解kafka的消费过程

目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelpe...
阅读(2987) 评论(0)

Kafka:Kafka的生产和消费(Java版本)

目录:1、代码2、POM3、展示—————————————————————————————1、代码package com.donews.data.kafkatest;import java.io.BufferedReader; import java.io.FileReader; import j...
阅读(1211) 评论(0)

Kafka:无丢失将kafka的值读取到hbase

目录1、需求2、代码1、需求功能:将kafka数据读取到HBASE中 步鄹:        1、提取topicName在zookeeper中的offset        2、循环读取topicName中的offset且对比zookeeper中的offset        3、将提取的数据转...
阅读(3200) 评论(0)

kafka:python获取kafka的值

需求:获取通过python查看kafka中的值#!/user/local/python2.6.6/bin/python # -*- coding: utf-8 -*- # __project__ = src # __author__ = kassien@163.com # __date__ = 2...
阅读(3835) 评论(0)

Kafka主要参数详解

原文档地址:http://kafka.apache.org/documentation.html ############################# System ############################# #唯一标识在集群中的ID,要求是正数。 broker...
阅读(387) 评论(0)

kafka删除topicName 提示marked for deletion

kafka 删除topic 提示marked for deletion [root@shadoop11 kafka_2.10-0.9.0.0]# kafka-topics.sh --delete --zookeeper localhost:2181 --topic yuhui-001 Topic...
阅读(7243) 评论(0)

kafka基本使用实战

Kafka路径 /opt/cloudera/parcels/KAFKA Kafka TopicName 查看  bin/kafka-topics.sh --list --zookeeper localhost:2181 Kafka TopicName 删除 bin/kafka-topi...
阅读(596) 评论(0)
    【个人简介】
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 57万+
    积分: 8417
    排名: 2989
    博客专栏