使用flume将数据导入到hdfs中

      在前面的博客上我说了flume就是三个最重要的地方,分别是分别是source、channel、sink,source是获取数据,channel是通道,传输数据的,sink是把数据给谁的,这里显而易见的是把数据给hdfs的,所以我们只需要在前面的基础上改sink就可以了

在之前的基础上修改a.conf文件中的sink


修改完后启动hadoop

                

查看进程是否开启,其实这里只需开dfs就行了,不需要启动yarn

                 

接着启动flume

新建一个文件,因为我们配置的时候是监控目录的,所以复制一个文件到那个文件夹下

       

写入一些数据在test文件中

        

接着把文件移动到a1_test文件夹下

   

然后我们会发现flume有变化


前面那个箭头是指我们移动过去的文件传输到了一个目录下面去了,并且改了一个名字,这是因为我在配置中写了以时间来命名的,相关配置可以去官网上看,而后面那个箭头指向的文件的后缀是tmp,这是因为文件还在写入,写完后它自动会把tmp去掉

然后登录我的hadoop


直接进入目录/user/hadoop/flumedir

           

接着就会发现我刚刚移动过去的文件的信息

          

跟着箭头一直点,这个目录我也不知道是什么

            

接着会发现一个00的目录,我猜是以编号来命名文件夹的吧

              

最后终于发现了我们的文件,是以FlumeData为前缀,这个前缀是默认的,自己也可修改,后缀是一串数字,这串数字是时间的信息。

             





评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值