kafka
文章平均质量分 74
AllenGd
人生之奋斗,其苦无穷,其乐无穷。
展开
-
基于 Flink + Kafka 的实时数仓在网易云音乐的建设实践
背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 链接:基于 Flink + Kafka 的实时数仓在网易云音乐的建设实践转载 2021-07-07 15:43:42 · 860 阅读 · 0 评论 -
Apache Kafka的流式SQL引擎——KSQL
1. KSQL 介绍KSQL 引擎——一个基于流的 SQL。推出 KSQL 是为了降低流式处理的门槛,为处理 Kafka 数据提供简单而完整的可交互式 SQL 接口。KSQL 目前可以支持多种流式操作,包括聚合(aggregate)、连接(join)、时间窗口(window)、会话(session),等等。2. KSQL 与传统数据库的区别KSQL 与关系型数据库中的 SQL 还是有很大不同的。传统的 SQL 都是即时的一次性操作,不管是查询还是更新都是在当前的数据集上进行。而 KSQL 则..原创 2020-07-30 16:47:49 · 2248 阅读 · 1 评论 -
Mysql到Hbase数据实时增量同步案例(框架:MySQL-binlog+Maxwell+Kafka+python+Hbase)
导语之前写过几篇博客(canal与Maxwell比较、Kafka、hbase等),有童鞋私信我,问我如何通过MySQL binlog数据同步到其他数据库(比如:Hbase、Hive等),今天我就这里做一个案例实践操作。系统环境CentOS Linux、JDK、zookeeper、kafka、Maxwell、MySQL、Hbase本次可以学习如下知识:1)、MySQL binlog启用配置与使用2)、binlog查看提取方案maxwell3)、zookeeper基本使用4)、K原创 2020-07-10 12:23:42 · 2958 阅读 · 0 评论 -
Kafka最全介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建背景Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Strea原创 2020-05-20 13:10:26 · 1752 阅读 · 2 评论 -
Kafka安装与验证
把kafka_2.11-0.10.1.0.tgz上传到/usr/hadoop目录下:命令:rz解压:tar -zxvfkafka_2.11-0.10.1.0.tgz配置环境变量 /etc/profile使环境变量生效source /etc/profilecpserver.propertiesserver1.propertiescpserver.propertiesserver2.properties修改/kafka_2.11-0.10.1.0/config下的serve...原创 2020-05-20 12:52:45 · 2591 阅读 · 2 评论