如何编写Flume数据迁移文件~(检测文本内容)

1.我们需要打开Flume的中文网  (注:点击链接进行Flume中文网的跳转 https://flume.liyifeng.org/ )   打开结果如下:2.我们需要打开目录 打开flume下的file目录 ,如果没有file目录就再创一个

核心代码:mkdir file

进入了file 之后 我们需要进行编写Flume配置文件

核心代码:vim user_behavior-mem-hdfs.conf  

3.进入刚才我们所打开的Flume中文网中 在Flume Sources ,Flume Sinks ,Flume Channel中 各找一个配置文件(随便找) 并进行复制 (注:这里我分别找的为Exec SourceLogger sink , Spillable Memory Channel)如下图分别所示:

Exes Source:

Logger sink:

Spillable Memory Channel:4.将上面所 复制的文件 进行粘贴 

(注 :图中所圈的部分 是已经进行修改过之后的)

我们所复制过来的配置文件 可以分为三个部分 分别为

(1).别名部分:

a1.sources = r1:定义了一个数据源(source)的别名为 r1

a1.channels = c1:定义了一个通道(channel)的别名为 c1

a1.sinks = k1:定义了一个数据汇(sink)的别名为 k1

(2).编辑sources部分 编辑sinks部分 编辑channels部分:

(3).编辑通道

5.修改第编辑sources部分和编辑channels部分红色圈中的地方:

在tail -F / 后修改为我们创建的文本的一个路径 (注:文本创建路径不做要求)

倒数二行 在 /chekpoint前修改为我们创建file目录的一个路径   

最后一行同样修改为我们创建file目录的一个路径

最后保存退出 ) 

输入核心代码: flume-ng agent -n a1 --conf-file user_behavior-mem-hdfs.conf -Dflume.root.logger=INFO,console(红色部分是配置文件的名字)


注:圈出来的部分是监听的 

6.另起以hadoop节点 

在新的标签中打开 我们创建的文本  在里面随便数一些数 看是否能被检测到  保存并退出 

成功检测到~~~~~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值