Windows上的flume采集数据传给服务器flume再上传给HDFS

最新推荐文章于 2023-09-07 14:49:45 发布
最新推荐文章于 2023-09-07 14:49:45 发布
阅读量1.1k 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L120336709/article/details/89671783
版权
这篇博客介绍了如何配置Windows上的Flume代理，将数据采集后传递给Linux上的Flume代理，最终存储到HDFS。Windows配置包括spoolDir源、avro接收器和内存通道，而Linux端配置了avro源、hdfs接收器，详细配置文件内容给出了各个参数的设置，如监听IP、端口、HDFS路径等。
摘要由CSDN通过智能技术生成

@Windows上的flume采集数据传给服务器flume再上传给HDFS

从该博主学习到具体方法配置

Windows flume conf 文件:

a1.sources = r1
a1.sinks = k1
a1.channels = c1

配置 source

a1.sources.r1.type = spooldir
a1.sources.r1.channels = c1
#监控目录，不能为空，没有默认值
a1.sources.r1.spoolDir = E:\flume\test
#是否在event的Header中添加文件名，默认false
a1.sources.r1.fileHeader = true
#是否在header中添加文件的基本名称信息
a1.sources.r1.basenameHeader = true
#key的名称
a1.sources.r1.basenameHeaderKey = fileName
#忽略符合条件的文件名
a1.sources.r1.ignorePattern = ^(.)*\.tmp$
#拦截器列表
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

配置 sink

a1.sinks.k1.type = avro
a1.sinks.k1.

最低0.47元/天 解锁文章
弹吉他的骷髅
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据之使用Flume监听本地文件采集数据流到HDFS
2301_78038072的博客
01-09 979
编写新的Flume配置文件，将数据备份到HDFS目录/user/test/flumebackup下，要求所有主题的数据使用同一个Flume配置文件完成，将Flume的配置截图粘贴至对应报告中。-Dflume.root.logger=INFO,console 打印输出在控制台上。进入/data_log路径运行脚本make_data_file_v1产生数据源。
windows下flume1.7使用文档
05-15
在windows端使用flume1.7同步上传数据到hdfs的说明
一百七十二、Flume——Flume采集Kafka数据写入HDFS中（亲测有效、附截图）
tiantang2renjian的博客
09-07 2779
Flume采集Kafka数据写入HDFS中
flume+kafka+hdfs收集用户行为数据
xieedeni的博客
09-27 1628
需求背景 项目中需要将用户的行为数据或者其他数据放入大数据仓库，已有kafka服务。 目标：通过flume获取kafka实时数据并转存储到hdfs。 一. 安装部署Hadoop并启动Hadoop，具体步骤见：Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客 Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客 说明：这里的版本本人安装的是Hadoop3.3.0，kafka是腾讯云，Flume这里建议安装flume1.9 二. Wind
flume java_opts,flume的agent在windows下往HDFS写入文件，启动失败
weixin_42365303的博客
03-13 165
官网下载的flume，在windows下编译成功，使用的启动脚start.bat脚本本如下：set FLUME_HOME=E:\apache-flume-1.6.0-binset JAVA_HOME=E:\progamming install files\Java\jdk1.8.0_45set JAVA="%JAVA_HOME%\bin\java.exe"set JAVA_OPTS=-Xmx102...
flume采集ftp上传文件到hadoop
大数据学习笔记
05-09 8368
flume服务器环境centos 7.2jdk 1.8flume 1.8hadoop平台环境centos7.2ambari 2.6.1hdp 2.6.4jdk 1.8一、 ftp安装与配置参考：https://blog.csdn.net/qq_39160721/article/details/80250975二、flume安装与配置参考 ：https://blog.csdn.net/qq_3916...
Kafka hdfs flume 数据采集实验
11-17
本实验的主题是“Kafka hdfs flume 数据采集实验”，涉及的关键技术包括Apache Kafka、Hadoop Distributed File System (HDFS) 和 Apache Flume，这些工具都是大数据生态中的重要组件。下面将详细阐述它们的功能、...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume采集Rabbitmq数据同步到HDFS
05-30
在这个场景中，我们将探讨如何使用Flume从RabbitMQ消息队列中采集数据，并同步到HDFS。 RabbitMQ是一个开源的消息代理和队列服务器，广泛应用于各种分布式系统中，提供可靠的数据交换机制。它允许生产者发送消息，...
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx
06-10
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
flume消费kafka数据上传hdfs.doc
05-09
Flume 消费 Kafka 数据上传 HDFS Flume 是一个分布式、可靠、可扩展的数据收集系统，主要用于从各种来源（例如日志文件、网络等）中实时收集数据，并将其传输到目标系统（例如 HDFS、Hive 等）中。本文档将详细介绍...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
基于Kafka+Flume实时采集Oracle数据到Hive中 一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...
windows安装Flume将本地目录下文件上传到HDFS(kerberos)问题汇总
qq_33286695的博客
09-04 824
环境 本地系统：Windows10 CDH：6.1.0 Hadoop: 3.0 Flume:1.8.0 JDK:1.8 安全：kerberos 问题一： 找不到com/ctc/wstx/io/InputBootstrapper 2020-09-02 11:02:22,640 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSin
在windows中实现Flume日志收集
wpfphp的博客
06-19 2714
一、flume的简介 任何一个系统在运行的时候都会产生大量的日志信息，我们需要对这些日志进行分析，在分析日志之前，我们需要将分散在生产系统中的日志收集起来。Flume就是这样的日志采集系统。 1.主要有三个组件： Source：消费web系统这样的外部数据源中的数据（一般就是web系统产生的日志），外部数据源会向flume发送某种能被flume识别的格式的事件，有以下几种类型：avro 、exec、jms、spooling directory source、kafka、netcat等...
大数据系列之Flume(Flume+HDFS / Flume+Kafka)
挖矿的小强的博客
12-14 1050
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压到指定目录即可。 2.flume中的重要模型 2.1.1.flume Event： f...
使用Flume消费Kafka数据到HDFS (亲测好用)
song_quan_的博客
12-21 6084
1.概述 对于数据的转发，Kafka是一个不错的选择。Kafka能够装载数据到消息队列，然后等待其他业务场景去消费这些数据，Kafka的应用接口API非常的丰富，支持各种存储介质，例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic，也是有组件可以去集成消费的。下面笔者将为大家介绍如何使用Flume快速消费Kafka Topic数据，然后将消费后的数据转发到HDFS上。 2.内容 在实现这套方案之间，可以先来看看整个数据的流向，如下图所示： 业务数据
将flume采集到的数据通过kafka上传到hdfs上
strugglejiaxin的博客
10-16 568
1、在ConsumerDemo中上传文件 package com.zpark.kafka; import java.io.*; import java.net.URI; import java.net.URISyntaxException; import java.util.Collections; import java.util.Properties; import org.apach...
html css js网页设计
最新发布
07-12
HTML、CSS和JavaScript是构建网页和网站的基本技术，它们共同工作来创建和设计用户界面。下面是关于这三种技术的详细介绍： ### HTML (HyperText Markup Language) - **定义**：HTML是构建网页内容的标准标记语言。 - **作用**：用于创建网页的结构和内容，如段落、链接、图片、表格等。 - **语法**：使用标签（如 `<p>`, `<div>`, `<a>`, `<img>` 等）来定义网页元素。 ### CSS (Cascading Style Sheets) - **定义**：CSS是一种样式表语言，用于描述HTML文档的呈现方式。 - **作用**：用于设置网页的布局、颜色、字体和其他视觉元素。 - **语法**：通过选择器（如 `p`, `.myclass`, `#myid` 等）应用样式规则。 ### JavaScript - **定义**：JavaScript是一种脚本语言，通常用于网页上实现交互功能。 - **作用**：允许网页与用户进行交互，如响应用户操作、动态更新内容、动画效果等。 - **语法**：Java
flume采集数据到hdfs
12-22
Flume 是一种用于数据采集、聚合和移动的工具，它可以将多种来源的数据收集到 HDFS（Hadoop分布式文件系统）中。通过 Flume，用户可以轻松地配置和管理数据流，确保数据的可靠性和一致性。 首先，用户需要在 Flume ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值