- 博客(4)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Flume 原理解析
flume：水道；笕槽；引水槽，source：水源，channel：水渠，sink：水槽一、Flume简介Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。重构后的版本统称为 Flume NG（next generation）；Flume 纳入 apache 旗下，改名为 Apache Flume。二、Flume特点flume是
2020-12-04 17:43:02
818
原创 flume ChannelSelector -- channel 选择器
首先是flume中三个组件的单词的意思，flume：水道；笕槽；引水槽，source：水源，channel：水渠，sink：水槽。见文知意，就是水从源头流出来，经过水渠或者管道，最终流到终点，也就是水槽了。之前总是flume的叫着，也不知道是啥意思，今天查了一下，再看其他几个组件的意思，这个工具的功能不言而喻了，就是针对像水一样的数据流处理的。flume channel selectors允许给一个source可以配置多个channel的能力。这种模式有两种方式，一种是用来复制（Replication），
2020-12-04 15:03:51
2536
原创 gradle repository 设置国产阿里镜像仓库地址，加速下载jar包
gradle使用的不多，大都是之前使用的maven，知道maven可以设置阿里的镜像仓库地址，加快jar包下载的速度。换到gradle之后，也有这么个设置，可以使得gradle项目的jar包下载速度加快，可以分分钟的下载完jar包。只需要简单的设置一下仓库设置。//做全局配置allprojects { apply plugin: 'idea' apply plugin: 'maven' apply plugin: 'java' tasks.withType(Java
2020-12-02 15:19:26
3997
1
原创 flume 1.6 发数据到kafka的kafka sink的配置
数据经过flume发送到kafka的配置，flume版本是1.6的时候的配置例子agent.sources = s1agent.channels = c1agent.sinks = k1agent.sources.s1.type = spooldiragent.sources.s1.channels = c1agent.sources.s1.spoolDir = /root/data/ttmagent.sources.s1.selector.type = com.x.y.collecto
2020-12-01 09:45:59
1453
1
大众点评sdk例子
2015-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人