log4j+flume+HDFS实现日志存储

最新推荐文章于 2024-03-12 11:07:25 发布
最新推荐文章于 2024-03-12 11:07:25 发布
阅读量5.4k 收藏 7
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sum__mer/article/details/52474443
版权
本文档介绍了如何利用log4j生成日志，通过flume进行日志收集，再将这些日志存储到HDFS的流程。详细步骤包括HDFS的配置、flume的安装及配置、log4j项目源码的获取，以及最终的运行结果展示。
摘要由CSDN通过智能技术生成
  • log4j  日志生成
  • flume  日志收集系统，收集日志，使用版本apache-flume-1.6.0-bin.tar.gz .
  • HDFS  Hadoop分布式文件系统，存储日志，使用版本hadoop-3.0.0-alpha1.tar.gz
一、说明， 部署在同一台虚拟机，虚拟机IP：10.34.11.65，hosts配置如下：



二、HDFS配置 

最低0.47元/天 解锁文章
sum__mer
关注
简单spring boot+log4j+flume+kafka的日志实现
Joker_Jiang3的博客
08-08 632
简单spring boot+log4j+flume+kafka的日志实现 ​ 在安装好zookeeper、Kafka、flume的情况下 1.springboot的pom.xml导入依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</ar
用Flume采集多台机器上的多种日志并存储于HDFS
11-06
用Flume采集多台机器上的多种日志并存储于HDFS, 在集群上使用flume收集多台机器的日志集中到hdfs上，作后面的日志分析
log4j+flume+hdfs
Joker_Jiang3的博客
08-08 238
log4j+flume+hdfs日志简单采集存储 ​ flume+hdfs这篇博客有说 一.Flume配置文件 1.在flume目录下的test文件中，创建配置文件 vim logdemo.conf 内容为 a1.sources=source1 a1.channels=channel1 a1.sinks=sink1 a1.sources.source1.type=avro a1.sources.source1.bind=0.0.0.0 a1.sources.source1.port=44444 a1.s
Log4j+Flume+HDFS采集日志
Rad的博客
03-28 439
环境 首先我们搭建好了hadoop环境，flume等软件。 我们首先配置flume中的flume.conf #Name the components on this agent tier1.sources=source1 tier1.channels=channel1 tier1.sinks=sink1 tier1.sources.source1.type=avro ...
flume与hdfs
海涛高软
10-07 548
log4j.rootLogger = info,D log4j.appender.D = org.apache.log4j.DailyRollingFileAppender log4j.appender.D.File = /rizhi/generateLoggx.log log4j.appender.D.DatePattern='.'yyyy-MM-dd-HH-mm log4j.appender.D.layout = org.apache.log4j.PatternLayout log4j.append.
将系统产生的日志收集到HDFS上
风情
04-02 434
import org.apache.log4j.LogManager; import org.apache.log4j.Logger; import java.util.Date; public class LogGenerator { public static void main(String[] args) throws InterruptedException { ...
Log-Analysis:使用Flume + Spark + HDFS + HIVE + PostgreSQL构建日志分析系统
05-08
本项目“Log-Analysis: 使用Flume + Spark + HDFS + HIVE + PostgreSQL构建日志分析系统”旨在搭建一个高效、可扩展的日志处理框架，以实现游戏数据的深度分析。下面将详细介绍这个系统中的关键技术及其应用。 首先...
flume+hdfs所需jar.rar
03-25
Flume 是 Apache 开源项目中的一个数据收集系统，它被设计用来高效地、可靠地从各种数据源收集、聚合和移动大量日志数据到集中式存储系统，如 HDFS（Hadoop Distributed File System）。在本压缩包“flume+hdfs所需...
Flume + kafka + log4j构建日志采集系统
08-30
本文将详细探讨如何使用Flume、Kafka和log4j构建一个高效的日志采集系统，帮助你理解这三个组件在日志处理中的角色以及如何协同工作。 首先，让我们了解一下这三个工具的基本概念： 1. **Flume**: Apache Flume 是...
Flume采集文件到HDFS
Joker_Jiang3的博客
08-08 685
Flume采集文件到HDFS ​ 在flume和Hadoop安装好的情况下 1.遇到的坑 在安装Hadoop时，配置 core-site.xml 文件一定要注意。 <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> 上述的value值使用的是主机名称（master）或者IP地址
《基于HDFS-Shell操作的海量Web服务器日志分布式存储》
qq_56435059的博客
10-12 465
《基于HDFS-Shell操作的海量Web服务器日志分布式存储》 相关命令 1）开启hadoop进程 start-all.sh jps namenode、secondarynamenode 2)在HDFS创建/web_data文件夹。 3）将/root/stu/data/下的日志文件，上传至HDFS上的/web_data文件夹中。 创建文件夹，添加日志文件 查看一下 4）向HDFS上传文件日志文件并且把日志文件改名为web_data.log。 5）查看HDFS上的日志文件 6）下载日志文件到
讲项目中产生的日志自动上传到HDFS上
风情
09-02 736
说明： 项目产生日志存放的路径==&gt; /root/luheng/ HDFS上保存日志的路径==&gt; /fengqing/logs/ 在/root/luheng目录下新建一个upload.sh文件，其内容如下 #!/bin/bash src_dir=/root/luheng/ dst_dir=/fengqing/logs/ ls $src_dir | while read fi...
6-点击流数据分析项目-日志采集到HDFS
IT从业者的成长历程
12-29 348
本文主要是点击流日志项目的数据采集部分，由于数据采集脚本或配置文件的相似性，本文的内容摘取了网络较为详细的两篇文章，如何融入本项目，读者可以自行借鉴
大数据系列之Flume+HDFS
人人都是程序员
03-13 267
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html 1.资料准备 ： apache-flume-1.7.0-bin.tar.gz 2.配置步骤： 　　　　a.上传至用户(LZ用户mfz)目录resources...
接口日志：储存到MySQL数据库
最新发布
Crzep的博客
03-12 665
接口日志：储存到MySQL数据库
flume数据采集_分享一个实时日志收集系统--Flume
weixin_39573781的博客
11-30 357
一、概述先看一张Hadoop业务的整体开发流程图从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出日志收集—Flume。下面简单介绍下flume。什么是Flume?flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(origin...
『居善地』接口测试（日志） — 19、日志保存到文件中
繁华似锦Fighting
02-02 206
文章目录1、把日志信息保存到文件中2、拓展 1、把日志信息保存到文件中 """ logging模块是Python的内置模块，不需要安装。 步骤： 1，创建一个把日志信息保存到文件中的处理器FileHandler 2，把文件处理器添加到logger中 3，把格式器传入到文件处理器中 """ # 导入logging模块 import logging # 创建一个日志器，就是一个logger对象 logger = logging.getLogger('logger') # 设置logger输入级别 logg
【无中生有】---10---API接口日志存储设计与实现设计
无人境域
05-26 4915
使用ESB架构有一个细节点，就是关于API日志的设计 虽然可以通过消息通知模式来统一接口间的相互调用，但是最终还需要各个服务API来真正承接服务。 而对API进行监控既有利于对系统整体行为进行记录，也能对系统的性能进行分析排查系统的性能瓶颈点。 存储仍然使用Cassandra集群 请求记录ESBAPILog 序号 字段名 类型 备注 1 id st
把日志源目录的文件移动到待上传到hdfs的临时目录，如何判断日志源目录的文件是完整的？
阿正的博客
08-26 224
log4j log4j.logger.logRollingFile= DEBUG,test1   log4j.appender.test1 = org.apache.log4j.RollingFileAppender  log4j.appender.test1.layout = org.apache.log4j.PatternLayout  log4j.appender.test1.layout...
Flume日志采集优化：log4j Appender与可靠传输
首先，Log4jAppender 是Flume集成Log4j的一种方式，它允许用户在基于Log4j的日志框架下直接将日志事件发送到Flume。为了实现这种集成，项目需要引入log4j-1.2.15版本或更高版本的jar包，同时添加Flume所需的jar包以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值