关注
分享
浪尖聊大数据-浪尖
弓重好：浪尖聊大数据，主要分享大数据架构基础到入门的文章。
展开
-
OPPO 实时数仓揭秘：从顶层设计实现离线与实时的平滑迁移
摘要：单日总数据处理量超 10 万亿，峰值大概超过每秒 3 亿，OPPO 大数据平台研发负责人张俊揭秘 OPPO 基于 Apache Flink 构建实时数仓的实践，内容分为以下四个方面...转载 2020-04-20 00:00:00 · 323 阅读 · 0 评论 -
从开发到生产上线，如何确定集群大小?
翻译｜毛家琦校对｜秦江杰在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。...转载 2020-02-10 19:59:23 · 427 阅读 · 0 评论 -
日均百亿级日志处理：微博基于Flink的实时计算平台建设
作者介绍吕永卫，微博广告资深数据开发工程师，实时数据项目组负责人。黄鹏，微博广告实时数据开发工程师，负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实...转载 2019-11-12 22:56:27 · 718 阅读 · 0 评论 -
如何使用 Kafka、MongoDB 和 Maxwell’s Daemon 构建 SQL 数据库的审计系统
本文要点 审计日志系统有很多应用场景，而不仅仅是存储用于审计目的的数据。除了合规性和安全性的目的之外，它还能够被市场营销团队使用，以便于锁定目标用户，也可以用来生成重要的告警...转载 2021-03-09 21:37:00 · 263 阅读 · 0 评论 -
稀疏索引与其在Kafka和ClickHouse中的应用
Sparse Index在以数据库为代表的存储系统中，索引（index）是一种附加于原始数据之上的数据结构，能够通过减少磁盘访问来提升查询速度，与现实中的书籍目录异曲同工。索引通常包含...转载 2021-01-29 09:00:00 · 467 阅读 · 1 评论 -
搜狐智能媒体数据仓库体系建设实践
分享嘉宾：翟东波搜狐媒体编辑整理：王洪达出品平台：DataFunTalk、AI启蒙者导读：本次分享的主题为搜狐智能媒体数据仓库体系建设实践，会对数据仓库中的基本概念进行简单梳理，明确数...转载 2020-12-12 12:00:00 · 355 阅读 · 0 评论 -
kafka面试总结
转自：https://www.cnblogs.com/threecha/p/13737421.html从以下方面对kafka面试进行总结：基本原理架构/项目实践/生产者/消费者/协调者/...转载 2020-11-07 21:05:00 · 166 阅读 · 0 评论 -
漫画面试回答kafka为何如此之快｜满分
一 磁盘读写原理磁盘的结构图：当需要从磁盘读取数据时，要确定读的数据在哪个磁道，哪个扇区：首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间;然后目标...原创 2020-10-29 08:18:00 · 2638 阅读 · 11 评论 -
实时数据仓及实时平台架构详解
随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外...转载 2020-09-18 09:39:31 · 723 阅读 · 0 评论 -
亿级数据从 MySQL 到 Hbase 的三种同步方案与实践
1.导语大家好，我是光城，下面是我之前在gitchat上发布的一个资料，今天全部开源！源码全部存放在本人github仓库，地址：https://github.com/Light-City...转载 2020-08-28 15:53:34 · 863 阅读 · 0 评论 -
spark改七行源码实现高效处理kafka数据积压
1. 劳力士spark streaming消费kafka，大家都知道有两种方式，也是面试考基本功常问的：a.基于receiver的机制。这个是spark streaming最基本的方式...原创 2020-05-28 08:37:25 · 360 阅读 · 0 评论 -
吃狗粮：用 Kylin 实时分析 Kylin 运行时指标
通过将 System Cube 的 sink 设置为 Kafka，可以一键提升 System Cube 的易用性和实时性，并且实现 Kylin Metrics 系统的功能闭环。01背景在...转载 2020-05-25 00:01:03 · 852 阅读 · 0 评论 -
17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ
来源：https://urlify.cn/vqqMRr本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差...转载 2020-02-20 09:04:09 · 220 阅读 · 0 评论 -
Kafka 集群在马蜂窝大数据平台的优化与应用扩展
Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。Kafka 在马蜂窝也有...转载 2020-01-10 23:21:04 · 244 阅读 · 0 评论 -
Apache Beam 架构原理及应用实践
分享嘉宾：张海涛海康威视编辑整理：Hoh内容来源：DataFun Talk出品社区：DataFun注：欢迎转载，转载请注明出处导读：大家好，很荣幸跟大家分享 Apach...转载 2019-10-13 21:31:45 · 1190 阅读 · 0 评论 -
最常见的Kafka面试题及答案
本文为您盘点最常见的Kafka面试题，同时也是对Apache Kafka初学者必备知识点的一个整理与介绍。1、请说明什么是Apache Kafka?Apache Kafk...原创 2019-03-09 22:32:39 · 1441 阅读 · 0 评论 -
Apache Kafka：优化部署的 10 种最佳实践
作者 | Ben Bromhead 译者 | 冬雨 转自 | infoApache Kafka 肯定会像它的同名小说家一样不负众望，因为它能激奋新来者、挑战深...转载 2018-11-21 00:00:00 · 452 阅读 · 0 评论 -
关于Spark Streaming感知kafka动态分区的问题
本文主要是讲解Spark Streaming与kafka结合的新增分区检测的问题。读本文前关于kafka与Spark Streaming结合问题请参考下面两篇文章：1，必...原创 2018-07-19 00:19:02 · 3941 阅读 · 2 评论 -
干货！一次kafka卡顿事故排查过程
原文：cnblogs.com/yougewe/p/8975550.htmJ由于一次功能上线后，导致某数据量急剧下滑，给我们紧张的呢！排查过程也是个学习过程！抛开结果，方法...转载 2018-07-05 00:22:37 · 688 阅读 · 2 评论 -
Kafka源码系列之源码分析zookeeper在kafka的作用
浪尖的kafka源码系列以kafka0.8.2.2源码为例给大家进行讲解的。纯属个人爱好，希望大家对不足之处批评指正。一，zookeeper在分布式集群的作用1，数据发布...转载 2018-05-29 00:26:11 · 1201 阅读 · 0 评论 -
Spark Streaming 中管理 Kafka Offsets 的几种方式
本文转载自：https://www.jianshu.com/p/ef3f15cf400d（点击下面 阅读原文 即可进入）英文原文：http://blog.cloudera...转载 2018-04-18 13:21:25 · 619 阅读 · 0 评论 -
开源消息中间件Kafka在华泰证券的探索与实践
本文选自《交易技术前沿》第二十九期 （2017年12月）樊建谷正亮陆俊华泰证券股份有限公司信息技术部邮箱：fanjian@htsc.com摘要：Kafka 作为开源消息中间件的重要分支，在券商领域会有怎样的应用场景？本文从华泰证券的应用现状出发，介绍了 Kafka 在华泰证券的大规模实践经验。 点击阅读原文，即可查看原文链接。 1. 引言 Apache Kafka 发源于转载 2018-03-28 00:00:00 · 605 阅读 · 0 评论 -
必读：再讲Spark与kafka 0.8.2.1+整合
Kafka在0.8和0.10版本引入了新的消费者API，所以spark Streaming与kafka的整合提供了两个包。 请根据你的集群选用正确的包。注意， 0.8和后期的版本0.9及0.10是兼容的，但是0.10整合是不兼容之前的版本的。包与版本特性之间的对应关系如下：本文主要讲述spark Streaming与kafka 0.8.2.1+版本整合，要求kafka集群的版本是0.8.2.1或原创 2018-03-17 00:00:00 · 2352 阅读 · 0 评论 -
Kafka HA Kafka一致性重要机制之ISR
一、kafka replica当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replic...转载 2021-03-07 11:53:00 · 169 阅读 · 0 评论 -
实时数据仓库必备技术：Kafka知识梳理
为什么使用消息队列?•解耦•异步•削峰(1) 解耦现有系统A, B, C, 系统B和C需要系统A的数据, 然后我们就修改系统A的代码, 给系统B, C发送数据. 这时系统D也需要系统A的...转载 2021-01-25 09:10:31 · 282 阅读 · 0 评论 -
如何理解Kafka的消息可靠性策略？
导语 | Kafka作为一款性能优秀的消息队列，主要用于异步、削峰、解耦处理，在分布式事务中有着广泛的应用，但仍有很多开发者在运用过程中存在疑惑。文本将为大家由浅入深剖析Kafka基础原...转载 2020-11-30 23:45:28 · 220 阅读 · 0 评论 -
解惑“高深”的Kafka时间轮原理，原来也就这么回事！
【摘要】Kafka时间轮是Kafka实现高效的延时任务的基础，它模拟了现实生活中的钟表对时间的表示方式，同时，时间轮的方式并不仅限于Kafka，它是一种通用的时间表示方式，本文主要介绍...转载 2020-11-04 08:22:53 · 232 阅读 · 0 评论 -
漫画讲解Kafka高效的存储设计｜面试
在开始讲解之前，先带着大家回忆一下kafka一些名词概念：a. Broker：提供数据存储和数据读写服务实例，一个Kafka节点就是一个broker，多个broker可以组成一个Kafk...原创 2020-10-22 08:25:00 · 772 阅读 · 0 评论 -
利用 Kafka 设置可靠的高性能分布式消息传递基础架构
世界已经迈进“移动”时代，现在应用程序必须能够实时提供数据，这不仅包括数据库表中存储的重要最终结果，还包括用户使用应用程序时执行的所有操作。任何可用信息，例如，用户点击量、日志数据或传感...转载 2020-09-08 22:53:53 · 175 阅读 · 0 评论 -
HBase 数据迁移到 Kafka 实战
文章作者：哥不是小萝莉编辑整理：Hoh Xil内容来源：https://www.cnblogs.com/smartloli/p/11521659.html1.概述在实际的应用场景中，...转载 2020-06-08 00:01:02 · 371 阅读 · 0 评论 -
“不要害怕 RAID！”-kafka磁盘必备
作者 | louwrentius@gmail.com译者 |苏本如，责编 | 郭芮头图 | CSDN 下载自视觉中国出品 | CSDN（ID：CSDNnews）以下为译文：我在互联网上...转载 2020-06-05 00:04:48 · 1263 阅读 · 1 评论 -
java实操｜mysql数据增量同步到kafka
一，架构介绍生产中由于历史原因web后端，mysql集群，kafka集群(或者其它消息队列)会存在一下三种结构。1，数据先入mysql集群，再入kafka数据入mysql集群是不可更改的...原创 2020-04-17 08:00:00 · 972 阅读 · 1 评论 -
案例讲解kafka的多分区watermark机制
最近还是有很多球友和微信群友反馈浪尖说watermark不理解，没办法浪尖又来了。watermark依赖的背景，可以是：事件时间，必须要在事件时间这个概念之上理解wate...转载 2019-01-29 22:28:05 · 1886 阅读 · 1 评论 -
一文精通kafka 消费者的三种语义
本文主要是以kafka 09的client为例子，详解kafka client的使用，包括kafka消费者的三种消费语义at-most-once, at-least-on...原创 2018-11-01 00:22:02 · 2311 阅读 · 0 评论 -
老司机常用的kafka监控-eagle
前面有文章说到了一个叫kafka manager的kafka管理工具，这个工具管理kafka确实很强大，但是没有安全认证，随便都可以创建，删除，修改topic，而且告警系...原创 2018-10-11 00:02:44 · 2145 阅读 · 0 评论 -
干货|kafka流量监控的原理及实现
工程能力作为一个优秀的开发人员，项目开发的过程中监控告警系统的可靠性是可以体现出一个人的工程管理能力的。优秀的监控告警系统可以免去很多精力消耗，比如维护，故障预判，故障及...原创 2018-10-09 00:00:00 · 4278 阅读 · 0 评论 -
如何获取kafka的broker保存的消费者信息？
kafka的消费者对于kafka 082版本，有高阶API (例子：https://cwiki.apache.org/confluence/display/KAFKA/C...原创 2018-09-25 00:00:00 · 2360 阅读 · 0 评论 -
kafka管理神器-kafkamanager
好久没发过kafka的文章了，今天整理一下kafka-manager神器。java环境要求jdk8kafkamanager源码下载https://github.com/y...原创 2018-09-11 00:02:00 · 1544 阅读 · 0 评论 -
源码 | kafka如何删除topic
本文是以kafka0.8.2.2为例讲解一，如何删除一个topic删除一个topic有两个关键点：1，配置删除参数delete.topic.enable这个Broker参...原创 2018-08-21 00:00:00 · 3160 阅读 · 5 评论 -
消息队列服务Kafka揭秘：痛点、优势以及适用场景
摘要：消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一...转载 2018-08-12 00:10:35 · 6269 阅读 · 0 评论