Nginx日志通过Flume导入到HDFS中

已于 2022-05-19 09:47:06 修改
阅读量315 收藏 1
点赞数
文章标签： hdfs nginx flume
于 2020-04-19 22:56:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/learn_8/article/details/105624523
版权

配置文件网盘地址（访问密码：7567）：

https://url56.ctfile.com/f/34653256-581238003-55e12a?p=7567 icon-default.png?t=M4ADhttps://url56.ctfile.com/f/34653256-581238003-55e12a?p=7567

flume上传到hdfs：

当我们的数据量比较大时，比如每天的日志文件达到5G以上

使用hadoop的put命令不稳定

后期考虑引入新的日志上传框架flume

source类：

exec 监控文件：tail -f /opt/apps/nginx-1.12.2/logs/access.log （nginx日志目录）

Spooling Directory 监控目录：spoolDir=/opt/apps/nginx-1.12.2/logs（nginx日志目录）

channel类：

memory: 比较吃内存，但是速度比较快，数据不安全

file：文件比较安全，但是传输速度较慢

sink类：

hdfs：离线分析以及数据备份

kafka：流式计算 storm/spark

  1. 到flume的conf目录下
  1. 写入内容

2.配置参数：参考之前到HDFS目录

3.运行

bin/flume-ng agent -n a1 -c conf -f conf/put_nginxlog_hdfs.properties -Dflume.root.logger=INFO,console

也可以定义一个crontab定时调度

启动访问nginx

然后去hdfs上查看

日志已经上传到hdfs上了

那山的狐狸
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume采集nginx日志到HDFS
cllblogs
09-11 1042
1.环境准备 jdk+hadoop：搭建伪分布式 nginx安装参考：https://blog.csdn.net/qq_34651991/article/details/100726599 flume安装很简单，下载解压即可 2.Nginx 修改nginx配置 nginx.conf [root@hadoop000 conf]# vi nginx.conf ...... # 将该部分注释放...
nginx+flume 数据采集
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 3478
本实验任务主要完成基于ubuntu环境使用nginx+flume的工作方式进行数据采集。通过完成本实验任务，要求学生了解并掌握nginx的安装、nginx的基础语法、采集数据方法以及配置格式，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握nginx+flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数
最新nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)，大数据开发开发岗还不会这些问题
最新发布
2401_84573219的博客
05-16 385
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。当前Flume有两个版本。
flume+Nginx+Pig数据采集预处理应用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 637
本实验任务主要完成基于ubuntu环境的flume+Nginx+Pig数据采集预处理应用的工作。通过完成本实验任务，要求学生熟练掌握使用flume+Nginx+Pig数据采集预处理应用的方法，为后续实验的开展奠定大数据平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握flume+Nginx+Pig数据采集预处理应用Ubuntu、Java1.8、Kettle7.1Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它
flume采集方案nginx日志到hdfs上
zwmonk的博客
10-05 759
######################################################### ##主要作用是监听目录中的新增文件，采集到数据之后，输出到hdfs ######################################################### a1.sources = r1 a1.sinks = k1 a1.channels = c1 #对...
网站流量日志分析系统笔记（Hadoop大数据技术原理与应用）
qq_30693057的博客
07-16 2290
一、系统架构设计 首先，会将Nginx服务器所产生的日志文件通过Flume采集到HDFS中； 其次，开发人员根据原始日志文件及规定数据格式定制开发MapReduce程序进行数据与处理； 接着，通过Hive进行最为重要的数据分析； 再次，将分析的记过通过sqoop工具导出到关系数据库MySQL中； 最后，通过Web系统，实现最为重要的数据分析 二、系统概述 虚拟机中的Flume采集网站日志...
Flume传输Nginx日志到HDFS
01-20
环境配置： linux：Centos7 JDK：1.8 Hadoop：2.8.5（默认已安装好集群环境） Nginx：14.0（独立部署） Flume：1.8.0（与Nginx部署在一起） ...3、 进入到nginx的源码目录中 cd /usr/local/src/nginx-14.0/ 4、 预
lamp安装配置及flume+Kafka+Storm+HDFS实时系统搭分享
05-19
9. 将Flume与Kafka、Storm与HDFS通过合理的配置连接起来，形成完整的实时数据处理链路。 在这个过程中，文档《Twitter Storm系列》flume-ng+Kafka+Storm+HDFS 实时系统搭建.docx和《安装扎记.pdf》将提供详细的步骤...
兼容神策SDK埋点的用户行为分析日志采集源码
06-12
通过配置Nginx，可以设置合适的路由规则，将日志数据转发到Flume，同时确保系统的高并发处理能力和稳定性。 2. **Flume**：Apache Flume是数据收集和传输的工具，它可以高效地从多个源收集数据，如Nginx的日志文件...
java大数据案例_7Flume、Kafka、Sqoop、Lucene
01-23
至此，Nginx的日志数据将会被Flume自动收集，并存储到HDFS中。 #### 二、Kafka开发练习 **2.1 案例背景** Apache Kafka是一种高性能的消息队列服务，被广泛应用于实时数据流处理场景。接下来，我们将通过两个具体...
尚硅谷大数据技术之 Flume 1
08-03
Flume是由Cloudera公司开发的，主要用于从服务器（如Apache或Nginx）实时收集日志数据。它可以与其他流处理框架如Storm和Spark Streaming结合使用。Flume通过数据流（Event）的形式传输数据，具有可靠的可靠性机制...
11 综合项目-网站日志数据分析系统
悟空非空也
11-03 3399
系统背景介绍 近年来，随着社会的不断发展，人们对于海量数据的挖掘和运用越来越重视，大数据的统计分析可以为企业决策者提供充实的依据。例如，通过对某网站日志数据统计分析，可以得出网站的日访问量，从而得出网站的欢迎程度；通过对移动APP的下载数据量进行统计分析，可得出应用程序的受欢迎程度，可通过不同维度进行更深层次的数据分析，为运营分析与推广决策提供可靠的数据依据。 系统架构设计及效果预览 将Nginx服务器所产生的日志文件通过Flume采集到HDFS中. 根据原始日志文件及规定数据格式开发MapReduce
大数据技术之Flume（实时读取本地文件到HDFS）
愿景.青城雪
09-05 523
1：创建flume-hdfs.conf文件 #1 agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 #2 source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/plus(文件) a2.sources.r2.shell = /bin/bash -c #3 si...
日志文件上传到hdfs集群中
wlk_328909605的博客
08-20 1132
日志收集步骤： 1：从日志目录里面查看哪需要上传的（.1 .2 …..） 2:把需要上传的文件移动到待上传目录 3：上传到hdfs上(/log/2018-8-20/xxx.log) 4:移动到备份目录 第一步，模拟系统产生日志文件，在这里用一个永真的循环打印。 public static void main(String[] args) throws Exception { ...
打印日志文件并将其上传存到HDFS中
qq_40468327的博客
03-19 1076
在本地打印日志 , 对日志文件进行分析 , 把需要上传的日志文件移动到待上传目录 , 将待上传的日志文件逐个上传到HDFS , 并移动到备份目录 , 定期清理过期备份日志 . 1.首先生产日志文件: /** * 生产日志 * @author Administrator * */public class MoreLog { public static void ma...
6-点击流数据分析项目-日志采集到HDFS
IT从业者的成长历程
12-29 334
本文主要是点击流日志项目的数据采集部分，由于数据采集脚本或配置文件的相似性，本文的内容摘取了网络较为详细的两篇文章，如何融入本项目，读者可以自行借鉴
Nginx和Flume实现日志采集
Yang_Yvan的博客
12-17 942
安装nginx: 1: 安装GCC编辑器支持。 yum -y install pcre* yum -y install openssl* yum -y install gcc gcc-c++ make yum -y install gcc-c++ yum -y install make 2： 上传并解压nginx,可使用root用户 3： 进入/modules/nginx 目录 ./configure make make install 4: 进入 /usr/loc
2024年最新nginx+flume网络流量日志实时数据分析实战_日志数据分析
2301_77116622的博客
05-01 1157
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。当前Flume有两个版本。
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
热门推荐
lskyne的专栏
07-07 2万+
转自：http://www.aboutyun.com/thread-7949-1-1.html 问题导读： 1.什么是flume？ 2.如何安装flume？ 3.flume的配置文件与其它软件有什么不同？ 一、认识flume 1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜
Java大数据实战：Flume收集Nginx日志到HDFS
在这个案例中，首先面临的问题是如何将Nginx的日志数据（accesslog）有效地采集到HDFS中。Flume，作为一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具，被选作日志收集的解决方案。 步骤一涉及到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值