【kafka】
文章平均质量分 93
chenshiying007
关注大数据相关技术和软件架构
展开
-
Kafka管理工具介绍
http://geeks.aretotally.in/spark-streaming-kafka-direct-api-store-offsets-in-zk/Kafka内部提供了许多管理脚本,这些脚本都放在$KAFKA_HOME/bin目录下,而这些类的实现都是放在源码的kafka/core/src/main/Scala/kafka/tools/路径下。Consume转载 2017-03-17 19:44:05 · 2221 阅读 · 0 评论 -
6 kafka 集群监控
6 kafka 集群监控更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述Kafka Offset MonitorKafka Manager在生产环境需要集群高可用,所以需要对Kafka集群进行监...原创 2018-04-26 15:56:37 · 1440 阅读 · 0 评论 -
7 kafka 消费者和生产者实例
7 kafka消费者和生产者实例更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述二、例子代码地址https://github.com/csy512889371/learndemo/tree/ma...原创 2018-04-27 20:55:39 · 1612 阅读 · 0 评论 -
8 Kafka 核心源码剖析
8 Kafka 核心源码剖析更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述分区消费模式源码组消费模式源码两种消费模式服务器端源码对比同步发送模式源码介绍异...原创 2018-04-28 07:24:48 · 7334 阅读 · 0 评论 -
9 Kafka Server Reactor设计模型
Kafka Server Reactor设计模型更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述二、Java NIO由以下几个核心部分组成 :Channel...原创 2018-04-28 07:25:55 · 1213 阅读 · 0 评论 -
10 Kafka Partition Leader选主机制
Kafka Partition Leader选主机制更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述大数据常用的选主机制常用选主机制的缺点Kafka Par...原创 2018-04-28 07:27:03 · 12412 阅读 · 0 评论 -
13 Flume和Kafka
Flume+Kafka+Storm+Redis实时分析系统基本架构更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述整个实时分析系统的架构是先由电商系统的订单...原创 2018-05-06 18:39:33 · 1224 阅读 · 0 评论 -
实时项目统计实战之一
实时项目统计实战之一更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)实时项目统计实战之一实时项目统计实战之二实时项目统计实战之三简单代码事例https://gith...原创 2018-05-07 07:18:04 · 4809 阅读 · 0 评论 -
实时项目统计实战之二
实时项目统计实战之二更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述实时项目统计实战之一实时项目统计实战之二实时项目统计实战之三简单代码事例https://...原创 2018-05-07 19:52:45 · 1392 阅读 · 0 评论 -
5.Kafka集群维护
5.Kafka集群维护更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述二、Kafka集群基本信息实时查看和修改集群信息实时查看(topic工具):列出集群当前所有可用的topic:bin/kaf...原创 2018-04-26 14:56:24 · 1514 阅读 · 0 评论 -
Kafka的使用场景
Kafka的使用场景一、概述kafka更好的替换传统的消息系统,消息系统被用于各种场景(解耦数据生产者,缓存未处理的消息,等),与大多数消息系统比较,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息。根据我们的经验,消息往往用于较低的吞吐量,但需要低的端到端延迟,并需要提供强大的耐用性的保证。在这一领域的kafka比得上传统的消息系统,如的ActiveMQ或Rabbit...转载 2018-05-10 17:39:11 · 2033 阅读 · 0 评论 -
4.Kafka消息处理
4.Kafka消息处理更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述Kafka消息组织原理Kafka消息检索原理一、磁盘重认识1、当需要从磁盘读取数据时,要确定读的数据在哪个磁道,哪个扇区:首先必...原创 2018-04-26 11:15:04 · 2319 阅读 · 0 评论 -
kafka:架构介绍
kafka:架构介绍什么是kafka呢,他是LinkedIn开发的一个分布式消息系统,用scala编写的,可以水平扩展和高吞吐率。原本开发自LinkedIn,用作他们的活动流和运营数据处理管道的基础,之后被多家公司使用,慢慢发展壮大起来。更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中...原创 2018-03-12 17:19:24 · 1257 阅读 · 0 评论 -
消息中间件kafka高可用集群安装
消息中间件kafka高可用集群安装更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习(干货)一、利用安装zookeeper的三台服务器做KAFKA集群服务器 IP地址 端口服务器1 10.211.55.7 9092服务器2 10.211.55....原创 2018-03-13 15:54:48 · 2668 阅读 · 0 评论 -
11 kafka 用户日志上报
11 kafka 用户日志上报更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据,其走的...原创 2018-05-01 19:55:10 · 1878 阅读 · 0 评论 -
12 大数据平台基础架构和常用处理工具
12 大数据平台基础架构和常用处理工具更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述数据在线分析处理和常用工具大数据离线处理和常用工具OLAP 和 OLT...原创 2018-05-01 21:33:53 · 5077 阅读 · 0 评论 -
1、Windows平台kafka环境的搭建
Windows平台kafka环境的搭建分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述1.安装Zookeeper参照 https://blog.csdn.net/qq_27384769/article/de...原创 2018-04-25 09:18:57 · 1270 阅读 · 0 评论 -
2、windows平台 监控KafkaOffsetMonitor Kafka
windows平台 监控KafkaOffsetMonitor Kafka分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记1.概述Kafka的一个监控系统——KafkaOffsetMonitor。KafkaOff...原创 2018-04-25 09:21:25 · 2013 阅读 · 1 评论 -
3 kafka 基础
3 kafka 基础更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述二、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样一些问题:** 我想分析一下用户行为(p...原创 2018-04-26 07:32:33 · 1343 阅读 · 0 评论 -
Windows上搭建Flume运行环境
Windows上搭建Flume运行环境更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述1、先安装JDK2、下载官方下载地址 官方用户手册http://www...原创 2018-05-10 16:02:52 · 2334 阅读 · 0 评论 -
实时项目统计实战之三
实时项目统计实战之三更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述实时项目统计实战之一实时项目统计实战之二简单代码事例https://github.com...原创 2018-05-08 12:02:46 · 1496 阅读 · 0 评论