配置Flume的Avro sink

一 配置拓扑 二 配置k_avro.conf #########a1 agent##### a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind=...

2018-01-20 09:57:45

阅读数:342

评论数:0

配置Flume的Hbase sink

一 启动Zookeeper和Hbase master节点 [root@master flumeSpool]# jps 4513 HRegionServer 4196 ResourceManager 4661 Jps 3752 QuorumPeerMain 3916 NameNode slav...

2018-01-20 09:31:56

阅读数:247

评论数:0

Flume的spooldir源配置

一 准备配置文件r_spooldir.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir=/opt/apache-flume-1.7.0...

2018-01-20 08:41:28

阅读数:686

评论数:0

Flume的avro源配置

一 配置文件r_avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind =0.0.0.0 a1.sources.r1.port= 4141 a1...

2018-01-19 21:48:24

阅读数:286

评论数:0

Flume 的安装

一 解压 tar xzfv apache-flume-1.7.0-bin.tar.gz 二 修改配置文件flume-conf.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1....

2018-01-19 21:25:35

阅读数:70

评论数:0

flume配置文件说明

一 通用配置说明 #配置agent的source agent.sources = seqGenSrc #配置agent的通道 agent.channels = memoryChannel #配置agent的sink agent.sinks = loggerSink # source age...

2018-01-19 19:51:12

阅读数:755

评论数:0

将flume信息存放在zk节点上

一 通过java程序创建zk节点flume/a1,其中内容是配置文件的内容 package com.cakin.zookerper; import java.io.FileInputStream; import java.io.FileNotFoundException; import java...

2018-01-19 19:47:05

阅读数:124

评论数:0

flume基础

一 flume简介收集日志工具。分布式、可靠性、可用于收集、聚集、移动大量日志。流计算agent:代理source:源头channel:管道sink:沉槽二 优势1 可用存储数据到任何集中式存储设备中。2 在数据源头和存储之间协调速率。3 上下文路由支持。4 维护两个事务,在sender和rece...

2018-01-18 21:42:03

阅读数:77

评论数:0

Flume 简介

一 Flume简介二 Flume设计目标三 类似大数据产品比较四 参考http://www.jikexueyuan.com/course/2630.html

2018-01-18 21:26:05

阅读数:70

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭