使用Flume实时读取目录文件到HDFS

最新推荐文章于 2023-09-21 17:42:53 发布
VIP文章 最新推荐文章于 2023-09-21 17:42:53 发布
阅读量524 收藏
点赞数
分类专栏： Flume 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43854618/article/details/104518783
版权

今天来刚学完Flume，来做一个简单的入门案例：使用Flume实时读取本地目录的文件到HDFS。即本地的目录有增加时就会把文件上传到HDFS。
使用Flume采集数据的步骤就是创建配置文件，然后启动监控就可以监听了。
创建配置文件
这个配置文件是要自己创建的，后缀为.conf。名字可以自己取，但是也要本着见名知意的原则。所以我命名为flume-dir-hdfs.conf。这个文件一般放在flume的job目录下。flume的每一个任务就要创建一个配置文件。
在这里插入图片描述
创建配置文件：

vim flume-dir-hdfs.conf

添加如下内容：

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type
最低0.47元/天 解锁文章
情深不仅李义山
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据采集技术-Flume读取本地文件到HDFS.pptx
12-23
大数据采集技术与应用
《Hadoop实战手册》一1.11 利用Flume加载数据到HDFS中
weixin_34128411的博客
05-02 88
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.11节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.11 利用Flume加载数据到HDFS中 Apache Flume是...
FLume 常用Sink配置说明
GCH6969的博客
09-02 2053
1.Sink 常用的Sink类型 HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Event数量定期滚动文件（关闭当前文件并创建新文件）。 它还可以根据Event自带的时间戳或系统时间等属性对数据进行分区。 存储文件的HDFS目录路径可以使用格式转义符，会由HDFS Sink进行动态地替换，以生成用于存储Event的目录或文件名。 使用此Sink需要安装hadoop， 以便
Flume消费Kafka数据写入HDFS
Why Do You Run
03-12 517
主要是消费kafka中不同topic落入不同的文件夹上 这里仅作为参考 因为我是在华为云上使用Flume消费Kafka数据到OBS（华为云的对象存储产品 s3a）适当做了修改 Flume版本1.6.0 #这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好 server.sources = Source1 Source2 server.channe...
Flume踩坑--Flume读取本地文件到HDFS
CN_DOTA_wing的博客
04-10 1186
操作内容：Flume读取Hive日志文件hive.log到HDFS flume .conf文件如下 #1.自定义agent的名字source,channel,sink组件 a2.sources = r2 a2.sinks = k2 a2.channels = c2 #2.设置source的类型和配置 a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log a2.sources.r
flume导出到hdfs
cp1002327672的博客
03-22 114
flume导出到hdfs的两种通道—memory、file channel
flume增量读取mysql数据写入到hdfs-附件资源
03-02
flume增量读取mysql数据写入到hdfs-附件资源
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka用到的jar包
【Flume】Flume实践之采集文件内容上传至HDFS
ccql's Blog
02-03 3192
要完成这个任务就需要使用在采集数据时使用Spooling Directory Source组件；传输数据时为了保证数据没有丢失风险，使用File Channel组件；在运行Flume之前应该先检查建立采集数据的文件夹和文件，且系统此时直接启动会报错提示找不到SequenceFile，虽然我们已经把fileType改为了DataStream，但是Flume默认还是会加载这个类。Flume各个组件的参数很多，因此通常复制官网的各组件样例程序并参照参数表进行修改。解决了这个问题后，在。
Flume快速入门系列(3) | 如何实时读取本地/目录文件到HDFS上
不温卜火
05-11 9445
  上一篇我们已经简单的介绍了Flume，那么这一篇文章博主继续为大家介绍如何实时读取本地/目录文件到HDFS上。 目录一. 实时读取本地文件到HDFS1.1需求：1.2 需求分析1.3 实现步骤1. Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包2. 创建flume-file-hdfs.conf文件3. 执行监控配置4. 开启Hadoop和Hive并操作Hive产生日志5....
使用flume将本地文件导入HDFS指定路径
最新发布
weixin_41048370的博客
09-21 329
flume采集本机文件，添加筛选，上传至HDFS，并监测添加至prometheus生态
flume 搭建 实时读取本地文件到HDFS
qq_50285389的博客
07-12 427
本章以Hadoop1.6.0为例： 1、解压 apache-flume-1.6.0-bin.tar.gz 至 /usr/local/src 并改名为flume-1.6.0（根据自己喜好） tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src # 进入/usr/local/src目录 mv apache-flume-1.6.0-bin.tar.gz /usr/local/src/flume-1.6.0 2、修改/usr/local/src
Flume04：【案例】使用Flume采集文件内容上传至HDFS
weixin_40612128的博客
03-03 7289
案例：采集文件内容上传至HDFS 接下来我们来看一个工作中的典型案例： 采集文件内容上传至HDFS 需求：采集目录中已有的文件内容，存储到HDFS 分析：source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置Agent了，可以把example.conf拿过来修改一下，新的文件名为file-to-hdfs.conf 首先是基于目录的source，咱们前面说过，Spooling Directory Source可以实现目录监控 来看一下这个Spoo
使用 Flume 监听整个目录的文件，并上传至 HDFS
W2398439780的博客
11-08 794
tmp 结尾的文件会被自动忽略，不会上传【配置文件中sources配置了相关的 ignorePattern】由于sources的type 指定的 spooldir ，上传完的文件会以 .COMPLETED 结尾。上传完成的文件会以.COMPLETED 结尾；注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。
Flume实操（二）【实时读取本地文件到HDFS案例】
乔治大哥的博客
12-09 575
1）案例需求：实时监控本地一文件，并上传到HDFS中 2）需求分析：【图示为Hive启动日志，这里做一个更为普通的本地文件】 3）实现步骤： 1.Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包 Cd /opt/hadoop-2.6.5 find ./ -name "commons-configuration-1.6.jar" cp./share/hadoop/c...
Flume对文件夹进行监控，实时收集新增文件到HDFS
Rain的博客
03-31 3172
- 背景 由于项目要求，需要实时将指定文件夹中新增的文件上传到HDFS中，本文中使用flume采集数据并保存到HDFS中，一方面可以减轻本地的存储压力，另一方面数据集中保存到HDFS也为后续数据分析工作打下基础。 - 实现流程 flume中的source组件选用spooling directory类型，此类型能对文件目录进行监控并实时收集目录中新增的文件。本文中采用此种类型对本地存储相关数据的目...
Flume实操（三）【实时读取目录文件到HDFS案例】
乔治大哥的博客
12-09 418
1）案例需求：使用Flume监听整个目录的文件 2）需求分析： 3）实现步骤： 1．创建配置文件flume-dir-hdfs.conf [root@henu1 job]# touch flume-dir-hdfs.conf [root@henu1 job]# vi flume-dir-hdfs.conf 添加以下内容： a3.sources = r3 a3.sinks = k...
大数据培训之实时读取本地文件到HDFS案例
zjjcchina的博客
01-04 180
注：要想读取Linux系统中的文件，就得按照Linux命令的规则执行命令。由于Hive日志在Linux系统中所以读取文件的类型选择：exec即execute执行的意思。将commons-configuration-1.6.jar、拷贝到/opt/module/flume/lib文件夹下。1）案例需求：实时监控Hive日志，并上传到HDFS中。#多少时间单位创建一个新的文件夹。#文件的滚动与Event数量无关。#是否按照时间滚动文件夹。#设置每个文件的滚动大小。#多久生成一个新的文件。#是否使用本地时间戳。
使用Flume监听整个目录的实时追加文件，并上传至HDFS
Knight
06-30 865
案例需求：使用Flume监听整个目录的实时追加文件，并上传至HDFS 需求分析: 实现步骤： （1）创建配置文件flume-taildir-hdfs.conf 创建一个文件 vim flume-taildir-hdfs.conf 添加如下内容 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = TAILDIR a1.sources.r1.positionF
简述利用FLUME实时读取目录文件到HDFS的步骤。
06-01
利用FLUME实时读取目录文件到HDFS的步骤如下： 1. 首先需要在Flume的conf目录下创建一个新的配置文件，例如my_flume.conf。 2. 在my_flume.conf文件中，需要定义Flume的agent名称以及其它设置，比如数据源、数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值