![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 62
Maka_uir
这个作者很懒,什么都没留下…
展开
-
Flume原理并与Kafka结合原因
Flume是一个分布式的、可靠的日志收集、聚合、传输系统,简单来说就是将文件从A地点移动到B地点。Flume可以收集包含文件、Socket数据包等各种形式的数据,并且能够存储到HDFS、Hbase、Hive等。因此Flume的最大特点是具有很高的兼容性和自定义扩展能力。其核心为Agent,包含三个组件,Source、Sink等Source:采集源,用于同数据源对接 Channel通道,用于内部的数据传输,从Source到Sink Sink目标池,采集数据传输的目的地。Kafka.原创 2021-03-23 15:52:11 · 752 阅读 · 0 评论 -
Kakfka的理解及其特点
参考文章链接:https://zhuanlan.zhihu.com/p/68052232本文主要总结kafka的各项特点,用于辅助对该消息中间件的理解。图中各项元素的含义:Producer生产者,可以有多个生产者,作为消息的来源。Broker实例,即kafka的实例,每一个Broker可以看作一个服务器,或者一个虚拟机,或者伪集群中的一个。Topic主题,为消息的分类,可以有多个消息主题。Partition分区,作用是负载,提高kafka的吞吐量,同一个Topic在不同的分区的数原创 2021-03-23 14:56:27 · 526 阅读 · 1 评论 -
Kafuka Ubuntu16.04.1 环境搭建过程记录
Kafka Ubuntu16.04.1 环境搭建过程记录本文记录kafka环境搭建过程,用于前端展示用数据存储以及消费。1、首先查看系统环境内是否存在java环境,如果没有java环境,安装java环境即可,由于本人系统已安装好,所以不在展示安装过程。2、在opt文件夹下新建目录zookeeper、kafka,可能需要root权限。mkdir -p /opt/zookeepermkdir -p /opt/kafka3、下载zookeeper、kafka安装包,从阿里云镜像下载原创 2021-03-18 16:54:46 · 269 阅读 · 0 评论