hadoop mapreduce tomcat日志分析

最新推荐文章于 2022-05-27 15:41:22 发布
最新推荐文章于 2022-05-27 15:41:22 发布
阅读量949 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37829074/article/details/77968276
版权

1、在windows 本机解压缩 hadoop


2、cmd切换到 hadoop的bin目录 执行 hadoop -version 查看是否满足hadoop运行环境

3、cmd切换到hadoop的sbin目录 执行 start-all.cmd 启动 hadoop单机

4、创建hdfs目录

hadoop fs -mkidr /hdfs

5、上传 tomcat 日志

hadoop fs -put  f:/tomcat/log/localhost*  /hdfs

6、编写mapreduce分析tomcat日志 ，代码结构如图


Mapper_.java

package com.fw.hadoop.example.log;


import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;


import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;


public class Mapper_ extends Mapper<LongWritable,Text,Text,IntWritable>{ 
public void map(LongWritable key,Text value,Context context) throws IOException, InterruptedException{ 
String line=value.toString();
String method="NONE";
String ip=ip(line);
if(post(line)){
method="POST";
}
if(get(line)){
method="GET";
}
context.write(new Text(ip+"-"+method), new IntWritable(0));
} 
public static String ip(String str){
Pattern pattern=Pattern.compile("[0-9,.]*");
Matcher matcher = pattern.matcher(str);
String result="";
if (matcher.find()) {     
result = matcher.group(0);  
         } 
return result;
}
public static boolean post(String str){
Pattern pattern=Pattern.compile("] \"POST");
Matcher matcher = pattern.matcher(str);
return matcher.find();
}
public static boolean get(String str){
Pattern pattern=Pattern.compile("] \"GET");
Matcher matcher = pattern.matcher(str);
return matcher.find();
}
 }



Reducer_.java

package com.fw.hadoop.example.log;


import java.io.IOException;


import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;


public class Reducer_  extends Reducer<Text ,IntWritable,Text,IntWritable>{ 
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException{
int count=1; 
for(IntWritable val:values){
count+=val.get(); 
} 
context.write(key, new IntWritable(count));
}
 }



Main.java

package com.fw.hadoop.example.log;
import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Main {
public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException{
Configuration conf = new Configuration();
Job job = Job.getInstance(conf,"tomcat日志分析");
    job.setJarByClass(Main.class);
    job.setMapperClass(Mapper_.class);
    job.setCombinerClass(Reducer_.class);
    job.setReducerClass(Reducer_.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path("hdfs://0.0.0.0:19000/hdfs/localhost*"));
    FileOutputFormat.setOutputPath(job, new Path("hdfs://0.0.0.0:19000/hdfs/log1"));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}




执行之后查看  http://localhost:50070/explorer.html#/hdfs/log1

我本机日志分析结果为 ：


-NONE 2
1.192.34.102-GET 2
1.193.127.216-GET 2
101.199.108.119-GET 2
101.199.108.120-GET 2
101.199.108.52-GET 2
101.199.108.54-GET 2
101.199.112.45-GET 2
101.199.112.52-GET 2
101.226.102.140-GET 3
101.226.102.145-GET 2
101.226.102.146-GET 3
101.226.102.237-GET 2
101.226.102.52-GET 2
101.226.102.79-GET 2
101.226.102.89-GET 2
101.226.102.94-GET 2
101.226.102.97-GET 2
101.226.114.166-GET 2
101.226.125.109-GET 2
101.226.125.113-GET 2
101.226.125.118-GET 2
101.226.125.119-GET 2
101.226.125.120-GET 2
101.226.125.15-GET 2
101.226.125.18-GET 2
101.226.125.19-GET 2
101.226.33.218-GET 2
101.226.33.220-GET 2
101.226.33.223-GET 2
101.226.65.102-GET 2
101.226.66.173-GET 2
101.226.66.177-GET 2
101.226.66.178-GET 2
101.226.66.181-GET 2
101.226.69.109-GET 2
101.226.69.112-GET 2
101.226.85.67-GET 2
101.226.89.14-GET 2
101.226.93.201-GET 2
101.226.93.241-GET 2
101.226.99.196-GET 2
103.221.141.147-GET 3
103.221.141.147-POST 3
106.120.160.109-GET 4
106.120.161.68-GET 3
112.65.193.15-GET 2
115.60.62.127-GET 2
117.185.27.113-GET 4
117.185.27.115-GET 4
140.207.118.16-GET 2
140.207.185.123-GET 2
140.207.185.125-GET 3
140.207.185.126-GET 2
140.207.54.140-GET 2
140.207.54.144-GET 2
140.207.54.158-GET 4
140.207.54.199-GET 2
140.207.54.218-GET 3
140.207.63.102-GET 2
140.207.63.103-GET 2
163.177.82.107-GET 2
163.177.82.107-NONE 2
171.10.205.79-POST 2
171.10.4.159-GET 2
171.10.4.159-POST 2
171.10.69.92-GET 2
171.10.69.92-POST 2
171.10.92.181-GET 2
171.10.92.181-POST 2
171.11.2.238-GET 2
171.11.2.238-POST 2
171.11.3.151-GET 2
171.11.3.151-POST 2
171.11.4.91-GET 2
172.16.30.1-GET 8
172.16.30.1-POST 8
182.118.20.156-GET 2
183.12.116.19-GET 2
183.12.116.19-POST 2
183.57.53.222-GET 2
192.168.240.224-GET 2
192.168.31.131-GET 3
192.168.31.193-GET 3
192.168.31.193-POST 3
192.168.32.100-GET 5
192.168.32.100-POST 2
192.168.32.108-GET 5
192.168.32.111-GET 2
192.168.32.111-POST 2
192.168.32.20-GET 4
192.168.32.20-POST 2
192.168.32.223-GET 2
192.168.32.37-GET 3
192.168.32.37-POST 2
192.168.32.41-GET 6
192.168.32.41-POST 5
192.168.32.63-GET 3
220.181.132.196-GET 2
222.66.141.10-GET 2
223.104.105.29-GET 2
223.104.105.29-POST 2
59.58.193.90-GET 2
59.58.193.90-POST 2
59.78.209.100-GET 2
61.151.217.45-GET 2
61.151.226.16-GET 2
61.151.226.191-GET 2
61.158.148.109-POST 2
61.158.148.116-GET 2
61.158.148.116-POST 2
61.158.148.43-GET 2
61.158.148.43-POST 2
61.158.148.48-GET 2
61.158.148.48-POST 2
61.158.148.51-POST 3
61.158.148.90-POST 2
61.158.149.129-POST 2
61.158.149.147-GET 2
61.158.149.147-POST 2
61.158.149.169-GET 2
61.158.149.169-POST 2
61.158.149.190-GET 2
61.158.149.190-POST 2
61.158.149.230-GET 2
61.158.149.230-POST 2
61.158.149.239-GET 2
61.158.149.239-POST 2
61.158.149.26-POST 2
61.158.149.29-POST 2
61.158.149.47-GET 2
61.158.149.47-POST 2
61.158.152.100-GET 2
61.158.152.100-POST 2
61.158.152.13-GET 2
61.158.152.13-POST 2
61.158.152.57-GET 2
61.158.152.57-POST 2
61.158.152.76-POST 2
61.178.77.18-GET 6
61.178.77.18-POST 4


8、如果想分析本地文件，那么更简单，设置 FileInputFormat 和FileOutFormat的时候，直接使用本地完整路径即可。

在本地运行的时候，hadoop只是作为一个java进程存在！


package com.fw.hadoop.example.log;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Main {
	public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException{
		Configuration conf = new Configuration();
	 	Job job = Job.getInstance(conf,"tomcat日志分析");
	    job.setJarByClass(Main.class);
	    job.setMapperClass(Mapper_.class);
	    job.setCombinerClass(Reducer_.class);
	    job.setReducerClass(Reducer_.class);
	    job.setOutputKeyClass(Text.class);
	    job.setOutputValueClass(IntWritable.class);
	   /* FileInputFormat.addInputPath(job, new Path("hdfs://0.0.0.0:19000/hdfs/localhost*"));
	    FileOutputFormat.setOutputPath(job, new Path("hdfs://0.0.0.0:19000/hdfs/log1"));*/
	    FileInputFormat.addInputPath(job, new Path("F:\\scrt_downLoad\\localhost*"));
	    FileOutputFormat.setOutputPath(job, new Path("F:\\10"));
	    System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

9、将这个job打包为jar，然后传到hadoop服务器，使用命令行执行

eclipse  -> export -jar   选择 这三个类 Main.java 、Reducer_.java、Mapper_.java.   -> 名字：tomcat-log.jar

hadoop 执行jar命令

hadoop jar tomcat-log.jar com.fw.hadoop.example.log.Main

10、如果遇到无法编译，则需要重写

org.apache.hadoop.io.nativeio.NativeIO类，去掉磁盘读写权限判定。



慕容谦擎
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop13：【案例】MapReduce任务日志查看
weixin_40612128的博客
03-01 4240
在上一篇中介绍了MapReduce进行单词计数的案例，这一章介绍下怎么查看MapReduce的任务日志。 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 一、syout日志输出 1、mapper类修改 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 添加内容如下： mapper类修改后代码如下： public stati
基于Hadoop实现电商日志分析实战
若兰幽竹
01-14 8033
实验环境搭建步骤一、CentOS7下MySQL-5.7使用yum方式安装：二、CentOS7下Nginx的安装：三、部署前端网站到nginx下四、Tomcat的安装五、电商后台系统部署到Linux服务器上六、AB压测（httpd）安装七、Hadoop安装与配置八、Flume的安装与配置九、MapReduce讲解十、SQOOP安装配置十一、集成调试 一、CentOS7下MySQL-5.7使用yum方式安装： 1、安装MySQL YUM源到本地 yum localinstall https://dev.mys
使用MapReduce对Hadoop下的日志记录进行分析处理
Royi的博客
10-26 2578
一. 简介 MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统方法相比较，MapReduce更倾向于蛮力去解决问题，通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合（核心），将任务分配到多个节点服务器上，进行分布式计算，这样可以有效地提高数据管理的安全性，同时也能够很好地范围被管理的数据。 mapreduce核心就是map+sh...
Hadoop日志详解
逝无痕——kaidy
03-31 5681
文章目录Hadoop日志详解1 Hadoop 系统服务输出的日志1.1 修改Hadoop日志目录1.2 修改YARN日志目录2 Mapreduce程序输出来的日志2.1 作业运行日志2.2 任务运行日志 (Container 日志) Hadoop日志详解 Hadoop的日志大致可以分为两大类: 1、 Hadoop 系统服务输出的日志； 2、 Mapreduce程序输出来的日志。 且这两类的日志存放...
（六）Hadoop实现简单的日志分析
tjpuliang的专栏
04-01 5708
1）创建Maven项目 2）引入依赖 3）编写Hadoop 日志分析相关Job代码 4）导出jar包 5）上传到Hadoop 集群 6）编写Hadoop jar包执行jar包 7）手动执行验证 8）使用后台系统远程手动实现分析 9）使用定时任务实现定时分析 ...
hadoop mapreduce求平均分
提炼技能，形成智慧
05-07 1940
求平均分的关键在于，利用mapreduce过程中，一个key聚合在一起，输送到一个reduce的特性。 假设三门课的成绩如下： china.txt 张三 78 李四 89 王五 96 赵六 67 english.txt 张三 80 李四 82 王五 84 赵六 86 math.txt 张三 88 李四 99 王五 66 赵六 72 m
基于Hadoop与SSH电子商城系统
06-22
在开发和部署过程中，开发者需要编写Hadoop MapReduce作业来处理大数据，这些作业可能包括用户行为日志分析、热门商品推荐算法等。同时，SSH框架下的服务层和持久层需要设计合理的数据模型和业务逻辑，确保系统的...
基于SpringBoot的Hadoop-Yarn资源监控系统源码.zip
06-08
2. **Hadoop**: Hadoop是Apache软件基金会开发的大数据处理框架，由HDFS（分布式文件系统）和MapReduce（并行计算模型）两大部分组成。Hadoop允许在廉价硬件上存储和处理海量数据。 3. **YARN**: YARN作为Hadoop的...
基于hadoop+hbase+springboot实现分布式网盘系统.zip
05-26
5. **监控和日志**：集成Spring Boot Actuator进行健康检查和性能监控，同时使用ELK（Elasticsearch, Logstash, Kibana）堆栈或Logback进行日志收集和分析。 这个项目对于学习和实践大数据存储、微服务架构以及Java...
bin-windows版.zip
07-27
9. **故障排查**: 在安装和运行过程中可能会遇到各种问题，如端口冲突、权限错误等，需要具备一定的日志分析和调试能力。 通过以上步骤，用户可以在Windows环境下搭建起一个本地的Hadoop测试环境，进行大数据处理的...
大数据。基于hadoop的网站日志分析系统（附带web展示页面）
04-17
基于Hbase的网站日志分析系统（附带web展示页面） 基于Hbase的网站日志分析系统（附带web展示页面）基于Hbase的网站日志分析系统（附带web展示页面）
hadoop web tomcat上传文件
02-01
hadoop web tomcat上传文件，自己写的一个WEB只有上传文件功能，hadoop.rar是已经发布的解压直接放到TOMCAT WEBAPPS下就可以运行
大数据hapdoop安装完整实验报告（包含结果图）
05-17
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前可能正在使用Windows操作系统，有必要通过本实验掌握在Windows操作系统上搭建Linux虚拟机的方法。 2.掌握Hadoop的伪分布式安装方法。需要在一台机器上模拟一个小的集群，因此，需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
基于Hadoop／Hive的web日志分析系统的设计
12-05
基于Hadoop／Hive的web日志分析系统的设计，为广大大数据爱好者提供更好的帮助，喜欢可以下载
基于spring-boot和hdfs的网盘.zip
最新发布
03-20
例如，通过集成Spark或Hadoop MapReduce，我们可以对存储在HDFS上的数据进行复杂的分析和机器学习任务。 文件“fileOperation-master”可能是一个包含源代码或配置文件的项目子模块，用于实现与HDFS文件操作相关的...
Hadoop 日志文件分析
小倔驴
07-27 2601
http://blog.csdn.net/lifuxiangcaohui/article/details/20233607 当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示。Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志。hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里
Hadoop分析tomcat访问日志
xiaomin1991222的专栏
09-14 166
今天照着《hadoop实战》写了个小例子，解析tomcat日志统计各个浏览器的访问次数   Java代码   package com.ice.stat;      import java.io.IOException;   import java.util.regex.Matcher;   import java.util.regex.Pattern;     ...
Tomcat 初始化启动 Hadoop RPC进程
AdamShyly的博客
05-27 195
为了防止Hadoop-client与tomcat相关依赖冲突，需要排除一些jar包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.2.3</version> <exclusions> &l
基于Hadoop部署实践对网站日志分析（大数据分析案例）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
05-09 8014
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
尚硅谷大数据：Hadoop MapReduce详解
"尚硅谷大数据技术之Hadoop MapReduce文档，主要介绍了MapReduce的概念、优缺点、核心思想、进程、常用数据序列化类型、编程规范以及通过WordCount案例进行实操的详细步骤。" MapReduce是Google提出的一种分布式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值