MapReduce之日志分析

最新推荐文章于 2023-07-04 08:00:00 发布
最新推荐文章于 2023-07-04 08:00:00 发布
阅读量2k 收藏 8
点赞数 6
分类专栏： Hadoop2.x 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sujiangming/article/details/118175380
版权

MapReduce之日志分析

一、相关说明

  • 要求：对电商访问日志进行清洗，求出每种商品或者url的访问量（PV）

二、测试数据

  1. 测试数据如下，部分内容如下：
    niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89912 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89923 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89933 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89933 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89944 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89944 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89912 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89923 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89933 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89933 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
  2. 可以下载其他的，点击数据源进行下载

三、编程思路

  • 思路：
    1、按照wordcount的思路进行编程，区别在如何找到能唯一确定不同商品的标识，如url
    2、可以利用正则表达式查找目标url
    3、可以利用字符串截取找到目标的url地址

四、实现步骤

  1. 在Idea或eclipse中创建maven项目

  2. 在pom.xml中添加hadoop依赖

    <dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>2.7.3</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-hdfs</artifactId>
	<version>2.7.3</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-mapreduce-client-common</artifactId>
	<version>2.7.3</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-mapreduce-client-core</artifactId>
	<version>2.7.3</version>
</dependency>

  3. 添加log4j.properties文件在资源目录下即resources，文件内容如下：

    ### 配置根 ###
log4j.rootLogger = debug,console,fileAppender
## 配置输出到控制台 ###
log4j.appender.console = org.apache.log4j.ConsoleAppender
log4j.appender.console.Target = System.out
log4j.appender.console.layout = org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern = %d{ABSOLUTE} %5p %c:%L - %m%n
### 配置输出到文件 ###
log4j.appender.fileAppender = org.apache.log4j.FileAppender
log4j.appender.fileAppender.File = logs/logs.log
log4j.appender.fileAppender.Append = false
log4j.appender.fileAppender.Threshold = DEBUG,INFO,WARN,ERROR
log4j.appender.fileAppender.layout = org.apache.log4j.PatternLayout
log4j.appender.fileAppender.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n

  4. 编写文本类型的mapper即LogMapper

    import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class LogMapper extends Mapper<LongWritable, Text,Text, IntWritable> {

	// 按指定模式在字符串查找
	String pattern = "\\=[0-9a-z]*";
	// 创建 Pattern 对象
	Pattern r = Pattern.compile(pattern);
	
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
		//niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89912 HTTP/1.0" 200 4391 "-" "ApacheBench/2.3" "-"
		String data = value.toString();
		// 现在创建 matcher 对象
		Matcher m = r.matcher(data);
		if (m.find()) {
			String idStr = m.group(0);
			String id = idStr.substring(1);
			context.write(new Text(id),new IntWritable(1));
		}
	}
}

  5. 编写reducer类

    import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class LogReducer extends Reducer<Text, IntWritable,Text, IntWritable> {

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		int sum = 0;
		for (IntWritable v: values) {
			sum += v.get();
		}
		context.write(key,new IntWritable(sum));
	}
}

  6. 编写Driver类

    import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class LogJob {
	public static void main(String[] args) throws Exception {
		Job job = Job.getInstance(new Configuration());
		job.setJarByClass(LogJob.class);
		
		job.setMapperClass(LogMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setReducerClass(LogReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		FileInputFormat.setInputPaths(job,new Path("F:\\NIIT\\access2.log"));
		FileOutputFormat.setOutputPath(job,new Path("F:\\NIIT\\logs\\002"));

		boolean completion = job.waitForCompletion(true);
	}
}

  7. 本地运行代码，测试下结果正确与否，参考结果如下：

    402857036a2831e001kshdksdsdk89912    2
402857036a2831e001kshdksdsdk89923    2
402857036a2831e001kshdksdsdk89933    4
402857036a2831e001kshdksdsdk89944    2

五、打包上传到集群中运行(仅供参考，自行修改)

  1. 本地运行测试结果正确后，需要对Driver类输出部分代码进行修改，具体修改如下：
    FileOutputFormat.setOutputPath(job,new Path(args[0]));

  2. 修改Job中【数据库】相关的信息

  3. 将程序打成jar包，需要在pom.xml中配置打包插件

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId> maven-assembly-plugin </artifactId>
                <configuration>
                    <!-- 使用Maven预配置的描述符-->
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <!-- 绑定到package生命周期 -->
                        <phase>package</phase>
                        <goals>
                            <!-- 只运行一次 -->
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

    按照如下图所示进行操作
    在这里插入图片描述
    在这里插入图片描述

  4. 提交集群运行，执行如下命令：

    hadoop jar packagedemo-1.0-SNAPSHOT.jar  com.niit.mr.EmpJob /datas/emp.csv /output/emp/

    至此，所有的步骤已经完成，大家可以试试，祝大家好运~~~~

若兰幽竹
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
Hadoop13：【案例】MapReduce任务日志查看
weixin_40612128的博客
03-01 4097
在上一篇中介绍了MapReduce进行单词计数的案例，这一章介绍下怎么查看MapReduce的任务日志。 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 一、syout日志输出 1、mapper类修改 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 添加内容如下： mapper类修改后代码如下： public stati
MapReduce编程模型在日志分析方面的应用
03-02
MapReduce处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详尽解释MapReduce模型的对应实现，涵盖MapReduce编程中对于特殊问题的处理...
MapReduce 编程模型在日志分析方面的应用
Mr. Lee的专栏
12-05 899
简介 日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。 本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详细解释 MapReduce 模型的对应实现，涵盖在 MapReduce 编程中对于特殊问题的处理技巧，比如机器学习算法、排序算法、索引机制、连接机
hadoop综合实验(对日志的处理mapreduce保存到csv)
THREEFUCT的博客
06-17 985
综合实验：网站访问日志采集、处理及分析实验步骤 注：截图必须使用实验机的带水印截图功能，题目中要求截图但未提供的视为未做一、使用Flume导入日志数据数据文件下载地址： 新建一个待监控的文件夹，放入三个日志文件我这里是lhx1、（代码）创建flume配置，文件内容及部分属性注释(注意路径)： 2、（截图）运行flume配置的命令（运行前需启动hadoop）： 3、（截图）日志导入到hdfs后，查看hdfs目录内容： 4、（截图）选取一个文件查看前几条内容: 二、使用MapReduce对日志数据进行预处理1、
大数据。基于hadoop的网站日志分析系统（附带web展示页面）
04-17
基于Hbase的网站日志分析系统（附带web展示页面） 基于Hbase的网站日志分析系统（附带web展示页面）基于Hbase的网站日志分析系统（附带web展示页面）
大数据开发之走进MapReduce
03-01
MapReduce是一种可用于数据处理的编程模型。该模型比较简单，但要想写出有用的程序却不太容易。Hadoop可以运行各种语言版本的MapReduce程序。在本章中，我们将看到同一个程序的Java、Ruby、Python和C++语言版本。最重要的是，MapReduce程序本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，所以这里先来看一个数据集。在我们的例子里，要写一个挖掘气象数据的程序。分布在全球各地的很多气象传感器每隔一小时收集气象数据和收集大量日志数据，这些数据是半结构化数据且是按照记录方式存储的，因此
使用mapreduce来分析网站的log日志
weixin_34356138的博客
03-30 700
近日，有人和我说分析log日志。 之前，就写过，但是忘了总结了，找了半天也没有找到，看了以后要将东西整理了。 无奈，在网上收拾，看到这个人写的，索性，就搬过来，待我找到我写的，在一块补充一下！ 所有网站的服务器上都会保留访问的log日志。这些log日志记录的其他机器访问服务器的ip，时间，http协议，状态码等信息。 比如这样：     i...
2.MapReduce的使用——分析气象数据集
赈川
07-28 4111
简介 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduc...
基于Hadoop的MapReduce网站日志大数据分析（含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-04 8774
Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统，然后使用MapReduce进行数据预处理。通过使用Hive进行大数据分析，我们能够对网站的PV、独立IP、用户注册数和跳出用户数等重要指标进行统计分析。最后，我们使用Sqoop将分析结果导出到MySQL数据库，并使用Python搭建可视化界面，以方便用户对分析结果进行更直观的理解。通过使用Hadoop分布式计算框架，本项目可以高效地处理大量的网站日志数据。
mapreduce 日志分析
jz1993的博客
11-04 2944
1. 需求  用户上报日志到多台日志收集服务器，日志落在不同的服务器上，flume扫描日志存储到hdfs,现在要根据日期按照域名、hour汇总数据压缩提供下载查看功能。形如： https://www.cnblogs.com/mstk/p/6980212.html  flume入hdfs (尚未尝试过，看起来很牛逼)   2.调研： 1&gt; flink实时分析日志流存储hdfs,o...
hadoop入门-Mapreduce程序相关日志
u010634288的博客
12-11 518
一、mapreduce的日志分为历史作业日志和Container日志。      1、历史作业日志包含了一个作业用了多少个Map、用了多少个Reduce、作业的提交时间、作业的启动时间、作业的完成时间等信息。      2、Container日志包含ApplicationMaster日志和普通Task日志,日志的目录是在/logs/userlogs，如下图所示 从这里我们可以
MapReduce编程入门-日志访问次数统计任务
Jop_qq的博客
05-14 6008
搭建IDE开发环境，创建MapReduce工程MemberCount 1.将插件hadoop-eclipse-plugin-2.6.4.jar复制到eclipse的dropins目录下 2.菜单选择Windowns-Perspective-Open Perspective-Other,在对话框中选中MapReduce,点击
使用MapReduce对Hadoop下的日志记录进行分析处理
Royi的博客
10-26 2475
一. 简介 MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统方法相比较，MapReduce更倾向于蛮力去解决问题，通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合（核心），将任务分配到多个节点服务器上，进行分布式计算，这样可以有效地提高数据管理的安全性，同时也能够很好地范围被管理的数据。 mapreduce核心就是map+sh...
Hadoop-web日志信息挖掘MapReduce简单应用以及代码下载
12-02 6561
结合上面两篇博文的内容，首先提一下hadoop的安装和配置。 Hadoop-利用java API操作HDFS文件 Hadoop-MapReduce初步应用-统计单词个数 上面两篇文章中提到了如何安装和配置hadoop。以及一些视频资料的下载。这两篇文章包括本文的代码示例均是伪分布下hadoop的开发完成的。下面开始本文中题目所说的web日志信息的挖掘。 首先给出web日志文件的下载：请猛戳这
hadoop日志分析
热门推荐
工作点滴
11-17 1万+
前言 Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站(10W的PV以上)，每天会产生1G以上Web日志文件。大型或超大型的网站，可能每小时就会产生10G的数据量。 对于日志的这种规模的数据，用Hadoop进行日志分析，是最适合不过的了。 目录 Web日志分析概述 需求分析：KPI指标设计 算法模
MapReduce编程案例之电商网站日志的行为分析
蔡政洁的博客
10-14 1156
目录一、需求分析二、程序编写 一、需求分析 1.网站数据分析的四个指标： PV：PageView ,浏览量 用户每打开一个网页就会被记录1次浏览量，多次打开同一个页面浏览量累计加一 UV：Unique Visitor 独立访客数 同一用户多次访问，独立访客数只算一次 VV：visitor view,访客的访问次数 同一用户完成浏览并关闭该网站时，访客的访问次数算一次 IP：独立IP数 同一IP不管访问了几个页面，独立IP数均为1 2.各个省份PV的统计： 我们的需求分析是统计网站日志文件
mapreduce分组统计_MapReduce实现网站用户流量统计 自定义分组 MapReduce实现用户浏览网站统计...
weixin_39615643的博客
12-21 473
MapReduce实现网站用户流量统计网站的文件都会统计注册用户的流量信息，下面实现一个统计用户的上行流量，下行流量和总共使用流量。基本的思路还是通过map(获取日志中的一行数据，切分各个字段，抽取出我们需要的字段：手机号，上行流量，下行流量，然后封装成kv发送出去),reduce(遍历values，然后进行累加求和再输出)和run类来处理，但是map中传给reduce的value有上，下行流量两...
【hadoop】1、MapReduce进行日志分析，并排序统计结果
weixin_30535043的博客
12-16 495
1.网上很多关于搭建Hadoop集群的知识，这里不多做叙述，并且本机运行Hadoop程序是不需要hdfs集群的，我们本机运行只做个demo样式，当真的需要运行大数据的时候，才需要真正的集群 2.还有就是词频统计的知识，不论是官方文档，还是网上的知识，基本都能随意百度个几百篇出来 但是我找半天，确实是没有找到对词频的结果进行全局排序的操作，实在是苦于搜索不到，我就自己瞎鼓捣一波，搞了个demo出...
Hadoop2.7.3环境搭建之伪分布式
若兰幽竹
03-08 8342
Hadoop伪分布式环境搭建一、前置条件二、准备工作三、Hadoop安装四、伪分布式配置 说明： 熟悉Hadoop伪分布式环境搭建基本思路与流程，理解主从式结构体系思想 一、前置条件 前置条件请自行参考如下资料进行操作，确保虚拟机及操作系统正常安装 安装VMware 参考： https://blog.csdn.net/sujiangming/article/details/87991536 创建虚拟机和安装操作系统CentOS7 参考： https://blog.csdn.net/sujiangmi
基于MapReduce的数据分析
最新发布
10-07
基于MapReduce的数据分析是利用MapReduce框架进行大数据分析的一种方法。MapReduce通过将复杂的数据分析任务分解为多个独立的Map和Reduce任务，并在分布式环境中并行处理这些任务，从而实现对大规模数据的高效处理和分析。具体步骤如下： 1. 切分数据集：将输入的大数据集切分为多个独立的数据块，每个数据块由一个Map任务处理。 2. Map任务处理：每个Map任务负责对切分后的数据块进行处理，将数据转化为<键，值>对的形式，并将中间结果输出。 3. 排序和分组：Map任务的输出结果会经过排序和分组操作，以便于Reduce任务的处理。 4. Reduce任务处理：Reduce任务接收Map任务输出的中间结果，对相同键的值进行汇总、计算、聚合等操作，并最终输出结果。 基于MapReduce的数据分析可以应用于各种领域，例如文本分析、网络日志分析、推荐系统等。通过利用MapReduce的并行处理能力和分布式存储系统（如HDFS），可以实现对海量数据的快速计算和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

若兰幽竹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值