大数据组件
songlllovescoding
这个作者很懒,什么都没留下…
展开
-
Azkaban(二):安装及3种模式部署
Azkaban理论篇,戳一. 安装前准备编译环境yum -y install gityum -y install gcc-c++下载源码&&解压wget https://github.com/azkaban/azkaban/archive/3.50.0.tar.gzmv 3.50.0.tar.gz azkaban-3.50.0.gztar -zxvf azkaban-3.50.0.tar.gz编译cd azkaban3.40.0./gradlew buil原创 2020-05-30 23:48:38 · 324 阅读 · 0 评论 -
Kafka原理+安装+Linux命令及Java代码分别模拟实现生产者消费者+整合Spark Streaming+自主管理偏移量Offset-Redis/Mysql
Kafka1.1 什么是Kafka Apache Kafka是分布式发布-订阅消息系统(消息中间件)。它是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka是一个分布式的、支持分区的(partition)、多副本(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:eg: 基于Had...原创 2019-02-26 15:15:12 · 317 阅读 · 0 评论