王知无(import_bigdata)
微信搜:import_bigdata
GitHub搜:https://github.com/wangzhiwubigdata/God-Of-BigData
展开
-
【硬刚Kafka】KAFKA基础(八):Kafka架构深入(6)Kafka 事务
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka部分补充。Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败。1 Producer 事务 为了实现跨分区跨会话的事务,需要引入一个全局唯一的 Transaction ID,并将 Producer获得的PID 和Transaction ID 绑定。这样当Producer 重启后就可原创 2021-09-23 04:03:39 · 392 阅读 · 0 评论 -
Apache-Kafka 核心组件和流程-控制器
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…通过前几章的学习,我们已经从宏观层面了...原创 2019-03-24 16:50:58 · 338 阅读 · 0 评论 -
30个Kafka常见错误小集合
点击上方蓝色字体,选择“设为星标”回复”面试“获取更多惊喜本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。1、UnknownTopicOrPartitionExceptio...原创 2021-08-05 08:00:00 · 921 阅读 · 1 评论 -
【硬刚Kafka】KAFKA基础(二):Kafka 集群部署
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 环境准备1.1 集群规划1.2 jar 包下载http://kafka.apache.org/downloads.html2 Kafka 集群部署1)解压安装包[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称[atgu原创 2021-09-23 03:37:32 · 352 阅读 · 0 评论 -
Apache-Kafka核心组件和流程(副本管理器)
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…本章简单介绍了副本管理器,副本管理器负...原创 2019-03-24 16:50:38 · 296 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(十):Kafka API (2)Kafka producer 拦截器(interceptor)
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor按序作用原创 2021-09-23 03:49:49 · 298 阅读 · 0 评论 -
Apache-Kafka简介
您可能感兴趣的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…kafka的定位提到kafka,不太熟悉或者稍有接触的开发人员,第一...原创 2019-03-24 16:48:51 · 369 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(十四): Kafka监控
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 Kafka Eagle1)修改kafka启动命令if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2原创 2021-09-23 04:08:02 · 366 阅读 · 0 评论 -
Apache-Kafka核心组件和流程-日志管理器
Apache Kafka 编程实战您可能感兴趣的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…上一节介绍了协调器。协调器主要负责消...原创 2019-03-24 16:51:17 · 323 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(十五):Flume对接Kafka
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1简单实现1)配置flume# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /opt/module/data/flume.log# sinka1.sinks.k1.type = org..原创 2021-09-23 04:11:11 · 448 阅读 · 0 评论 -
Apache-Kafka核心组件和流程-协调器
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…上一节介绍了kafka工作的核心组件–...原创 2019-03-24 16:49:21 · 379 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(四):Kafka架构深入(2)Kafka 生产者
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 分区策略1)分区的原因(1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;(2)可以提高并发,因为可以以 Partition 为单位读写了。2)分区的原则我们需要将 producer 发送的数据封装成一个ProducerRecord对象。(1..原创 2021-09-23 03:54:12 · 341 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(五): Kafka架构深入(3)Kafka 消费者
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 消费方式consumer 采用 pull(拉)模式从 broker 中读取数据。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。pull原创 2021-09-23 03:57:14 · 298 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(三):Kafka架构深入(1) Kafka工作流程及文件存储机制
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1Kafka工作流程及文件存储机制 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。 Producer 生产的数据会被不断追加到该log 文.原创 2021-09-23 03:39:37 · 324 阅读 · 0 评论 -
Apache-Kafka简介
您可能感兴趣的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…kafka的定位提到kafka,不太熟悉或者稍有接触的开发人员,第一...原创 2019-03-24 16:48:02 · 359 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(九):Kafka API (1)Producer API/Consumer API
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1 Producer API1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消原创 2021-09-23 03:46:58 · 350 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(一):KAFKA 概述
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1定义Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。2消息队列2.1传统消息队列的应用场景使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理...原创 2021-09-23 03:29:50 · 379 阅读 · 0 评论 -
Apache-Kafka安装和使用
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器…单机环境官方建议使用JDK 1.8版...原创 2019-03-24 16:50:19 · 630 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(六):Kafka架构深入(4)高效读写数据
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。1)顺序写磁盘Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。2)应用Kafka数据持久化是直接持久化到Pagecache中,这样会产生以下几个好处:I/O Sche.原创 2021-09-23 03:59:26 · 288 阅读 · 0 评论 -
【硬刚Kafka】KAFKA基础(七):Kafka架构深入(5)Zookeeper 在 Kafka 中的作用
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka:部分补充。Zookeeper 在 Kafka 中的作用 Kafka 集群中有一个 broker 会被选举为 Controller,负责管理集群 broker 的上下线,所有 topic 的分区副本分配和leader 选举等工作。 Controller 的管理工作都是依赖于 Zookeeper 的。 以下为 partition 的 leader 选举过程:1)2)..原创 2021-09-23 04:01:54 · 278 阅读 · 0 评论