大数据课程——Flume日志收集

最新推荐文章于 2023-07-26 22:24:53 发布
最新推荐文章于 2023-07-26 22:24:53 发布
阅读量1.3k 收藏 9
点赞数
分类专栏： 大数据课程学习 文章标签： flume hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43334251/article/details/124490298
版权
本文介绍了一次大数据课程中的Flume日志收集实验，包括实验内容、配置文件的编写以及遇到的问题和解决办法。实验中，通过Flume在三个Centos节点间收集和传输日志，最终将数据存储到HDFS。
摘要由CSDN通过智能技术生成

大数据课程——Flume日志收集

实验内容以及要求

如下图所示，节点1、节点2产生日志，节点1和节点2的日志最终流向节点3，并最终写入HDFS文件。节点1的Agent的Source类型为syslogtcp，采集日志信息通过用户编写的Client程序通过socket（假设端口号5640）发送到flume agent；节点2的日志信息来自于监听特别的日志文件夹（/home/hadoop/log）产生的事件。请部署Flume，并完成相应的配置，实现如下日志收集方案。
在这里插入图片描述

在后面的叙述当中，Centos01作为上图中的Agent3、Centos02作为Agent1、Centos03作为Agent2

随便说两句

2022年4月29日。距离上次更新已经很久很久了，很多以前做作业时候的细节已经想不起来了。所以可能只能简单的把自己存的作业记录copy上来而已。大家随便看看就好，遇到问题还是要自己花心思解决的，以前我也是个小菜鸡，对于作业里遇到的问题也不过是自己的个人理解，未必是正确的，希望大家还是有独立思考的意识。我的作业记录仅仅作为一个在你不知该怎么做，没有方向时候的一个参考！希望能帮助到大家。

问题总结

1、对架构要进行分析

对于给定的架构图，需要规划出几台服务器，

最低0.47元/天 解锁文章
冰冷灬泡面
关注
专栏目录
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志
zhengzaifeidelushang的博客
09-08 334
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志
如何利用flume进行日志采集
最新发布
EverythingAtOnce的博客
12-24 3606
Apache Flume 是一个分布式、可靠、高可用的日志收集、聚合和传输系统。它常用于将大量日志数据从不同的源（如Web服务器、应用程序、传感器等）收集到中心化的存储或数据处理系统中。Apache Flume 是一个强大的数据收集和传输工具，可以轻松地处理大量的数据流。使用本文提供的示例和概念，可以开始使用 Flume 并适应不同的数据采集和传输需求。本篇文章就介绍到这里，感兴趣的同学可以自己去深入研究，使用flume完成日志采集、关键字告警等一整套的业务。
Flume日志收集详解
qq_47947471的博客
10-26 1268
Flume简介 1.Flume概述 (1)概念: Apache Flume 是一个分布式的、可靠的、可用的数据收集系统。 它可以有效地收集、聚合和移动大量的日志数据，这些数据可以从许多不同的来源转移到Hadoop或者其它目的地。 (2)Apache Flume 不仅仅限于日志数据聚合。 Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎所有可能的数据源。 (3)Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复。 2.Flume特点 (1)
Flume日志收集
weixin_33828101的博客
05-25 373
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先...
FLUME日志收集系统搭建
moonpure的专栏
08-14 698
http://www.huyanping.cn/flume%E6%97%A5%E5%BF%97%E6%94%B6%E9%9B%86%E7%B3%BB%E7%BB%9F%E6%90%AD%E5%BB%BA/ flume原理简介 flume是Apache的一款开源日志收集软件。在flume中，主要有三个重要的角色：source、channel和sink。source负责
Flume日志收集系统
sunqingok的博客
03-18 1694
flume基础知识 1、hdfs数据接入方式：hdfs shell命令、hdfs api、MR等各种分布式计算方式、sqoop–传统数据库与hadoop同步、数据管道方式flume、其他（FTP：hdfs-over-ftp） 2、Flume是什么 Cloudera提供的高可用、高可靠的，分布式海量日志采集聚合和传输系统 支持在日志系统中定制各类数据发送方，用于收集数据 提供对数据进程简单处理，并写...
大数据学习——Flume入门
5akura's Blog
08-06 2412
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
大数据工具——Flume
m0_45993982的博客
05-10 261
一、Flume概念 1.Flume介绍 1、是一个分布式、可靠的、高可用的日志数据采集框架 2、具有数据流的体系结构 3、具有可调整的可靠性和容错性 4、是Hadoop生态中的一个组件 2.Flume设计 1、Flume的最小运行单元是Agent，三大组件：Source，channel，Sink 2、Flume在运行Agent时候，会占用JVM 3、Flume组件 Source：作用是与数据源进行交互，采集数据，封装成Event，传给Channel Event：采集的数据，对数据封装的对象，Event的
大数据课程E2——Flume的Source
u013955758的专栏
07-26 896
1. 自定义Source：需要定义一个类实现Source接口的子接口：EventDrivenSource或者PollableSource。2. 如果不指定，默认情况下，一个文件被收集之后，会自动添加一个后缀.COMPLETED，通过通过属性fileSuffix来修改。2. 除了实现上述两个接口之一，这个自定义的类一般还需要考虑实现Configurable接口，通过接口的方法来获取指定的属性。1. Spooling Directory Source是监听指定的目录，自动将目录中出现的新文件的内容进行收集。
大数据概述——精选推荐.pdf
12-24
大数据计算模式包括批处理计算（如MapReduce、Spark）、流计算（如Storm、Flume）、图计算（如Pregel、Giraph）和查询分析计算（如Dremel、Hive）。这些计算模式分别适用于不同场景的需求，如批量数据处理、实时数据...
常见的几种Flume日志收集场景实战
weixin_34056162的博客
06-06 413
　　这里主要介绍几种常见的日志的source来源，包括监控文件型，监控文件内容增量，TCP和HTTP。 Spool类型 　　用于监控指定目录内数据变更，若有新文件，则将新文件内数据读取上传 　　在教你一步搭建Flume分布式日志系统最后有介绍此案例 Exec 　　EXEC执行一个给定的命令获得输出的源,如果要使用tail命令，必选使得file足够大才能看到输出内容 创建agent配置文...
log4j输出日志到flume
03-03
log4j输出日志到flume例子，包含log4j配置，flume配置，测试类
flume：日志收集工具
eyeofeagle的博客
09-08 1563
多路复用： 一个  source                     ----->多个 (channel----sink)  故障切换:  一个（source ---channel） ---->一个sink组(多个sink ) 常用sink配置： hdfs,hive,hbase 多路复用： （ Multiplexing the flow ） 官方解释为：一个source的数据...
大数据技术之flume——日志收集系统
five小点心的博客
03-16 2184
大数据需要解决的三个问题：采集、存储、计算。Apache flume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
flume日志集中
热门推荐
fbfsber008的专栏
01-10 2万+
maven下载地址：http://mirror.bit.edu.cn/apache/maven/maven-2/2.2.1/binaries/ maven坏境设置: export PATH=MAVEN解压目录/bin:$PATH   thrift下载地址：http://incubator.apache.org/thrift/download/   采集日志的 flume   Lzop
flume日志
天天学习的博客
10-21 179
故障转移(failover) a.sources = s1 a.sinks = k1 k2 a.channels = c1 a.sinkgroups = g1 a.sources.s1.type =exec a.sources.s1.command = tail -F /tmp/test.log a.sinks.k1.type = avro a.sinks.k1.hostname = localhost a.sinks.k1.port = 44444 a.sinks.k2.type = avro a..
利用flume接收syslog日志
普普通通程序猿的博客
07-28 1438
前提：每台服务器上都部署有rsyslog服务 修改rsyslog配置文件：/etc/rsyslog.conf (CentOS操作系统) 添加一行：. @@10.10.10.1:514 如果只想发送info级别的日志，则配置方式为：*.info @@10.10.10.1:514 其中：10.10.10.1为远端接收日志服务器的域名或IP地址；514为远端日志服务器的端口。 注意：@@是必须的，一个@表示UDP连接；@@表示TCP连接 修改完成后，重启rsyslog服务：service rs
Flume实战案例之日志采集
senga's blog
02-23 1092
目标 将A服务器上的日志实时采集到B服务器 技术选型 配置文件 A服务器Flume配置文件：exec_memory_avro.conf exec_memory_avro.sources = exec_source exec_memory_avro.sinks = avro_sink exec_memory_avro.channels = memory_channel exec_memory_a...
Flume日志采集
王者莫笑
07-04 278
Log4j Appender Client端Log4j配置文件log4j.rootLogger=INFO,A1,R ConsoleAppender out log4j.appender.A1=org.apache.log4j.ConsoleAppender log4j.appender.A1.layout=org.apache.log4j.PatternLayout log4j.appender.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值