【基于MapReduce实现用户基础数据统计】

于 2022-10-04 22:45:56 发布
阅读量1.3k 收藏 3
点赞数 2
分类专栏： Hadoop 文章标签： mapreduce hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pblh123/article/details/127167449
版权

CSDN话题挑战赛第2期
参赛话题：大数据学习成长记录

文章目录

使用MapReduce实现用户基础数据统计

基础数据

项目原始数据如下

create table ods_t_bank(
id INT COMMENT '表自增主键',
age INT COMMENT '年龄',
job STRING COMMENT '工作类型',
marital STRING COMMENT '婚否',
education STRING COMMENT '教育程度',
credit STRING COMMENT '是否有信用卡',
housing STRING COMMENT '房贷',
loan STRING COMMENT '贷款',
contact STRING COMMENT '联系途径',
month_of_year STRING COMMENT '月份',
day_of_week STRING COMMENT '星期几',
duration INT COMMENT '持续时间',
campaign INT COMMENT '本次活动联系的次数',
pdays INT COMMENT '与上一次联系的时间间隔',
previous INT COMMENT '之前与客户联系的次数',
poutcome STRING COMMENT '之前市场活动的结果',
emp_var_rate DOUBLE COMMENT '就业变化速率',
cons_price_idx DOUBLE COMMENT '消费者物价指数',
cons_conf_idx DOUBLE COMMENT '消费者信心指数',
euribor3m DOUBLE COMMENT '欧元存款利率',
nr_employed DOUBLE COMMENT '职工人数',
y TINYINT COMMENT '是否有定期存款'
)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

原始数据存储在MySQL数据库中，可以通过Sqoop或者DataX导入到hive，这块教程参照后续博客

返回目录

业务分析点

基于原始数据，可知用户的基本统计指标有：

  • 教育程度分析
  • 年龄分析
    • 年龄小于40 -> 年轻人
    • 年龄介于40~60 -> 中年人
    • 年龄大于60 -> 老年人
  • 其他分析项（可依据数据自由扩展）

业务开发流程

MR开发流程图
在这里插入图片描述

返回目录

在Hive中创建hive表

-- 配合java开发的MR需要更新字段的分隔符
drop table if exists dws.dws_t_bank_age;
CREATE TABLE dws.dws_t_bank_age
(age string,
num int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;
drop table if exists dws.dws_t_bank_edu;
create table dws.dws_t_bank_edu(
education string,
num int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;

返回目录

基于Java开发MR

在idea-community中中开发MR

配置pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.huike</groupId>
    <artifactId>bank_v2</artifactId>
    <version>1.2</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <hadoop.version>2.7.3</hadoop.version>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.4.8</spark.version>
        <java.version>1.8</java.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-annotations</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-api</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.49</version>
        </dependency>

        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId>
            <version>4.1.50.Final</version>
        </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.6.7</version>
        </dependency>

        <!-- 添加对应的 jackson-core -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.6.7</version>
        </dependency>

        <dependency>
            <groupId>com.hankcs</groupId>
            <artifactId>hanlp</artifactId>
            <version>portable-1.7.7</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <!-- 这是个编译java代码的 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!-- 这是个编译scala代码的 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.1</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!-- 将依赖也进行打包 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.5.5</version>
                <configuration>
                    <!--<archive>
                        <manifest>
                            <mainClass>com.xxg.Main</mainClass>
                        </manifest>
                    </archive>-->
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

开发com.lh.banksys.mr.AgeStatJob

package com.lh.banksys.mr;

import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @Classname AgeStatJob
 * @Description 年龄阶段统计分析
 * @Date 2021/10/14 19:14
 * @Created by Tiger_Li
 */

public class AgeStatJob {
    public static class AgeStatMap extends Mapper<Object, Text, Text, IntWritable> {
//        private static Text newKey =new Text();
        public void map(Object key, Text value, Context context)throws IOException, InterruptedException {
            String[] words = StringUtils.split(value.toString(), '\001');
            if(words[0] != "" && StringUtils.isNotEmpty(words[0])){
                int age = Integer.parseInt(words[0]);
                if(age <= 40){
                    context.write(new Text("young"), new IntWritable(1));
                }else if(age > 40 && age <=60){
                    context.write(new Text("middle"), new IntWritable(1));
                }else{
                    context.write(new Text("old"), new IntWritable(1));
                }
            }
        }
    }

    public static class AgeStatReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        protected void reduce(Text key, Iterable<IntWritable> values,Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for(IntWritable i : values){
                sum += i.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) {
        Configuration config = new Configuration();
        try {
            FileSystem fs = FileSystem.get(config);
            Job job = Job.getInstance(config);
            job.setJobName("AgeStatJob");

            job.setJarByClass(AgeStatJob.class);
            job.setMapperClass(AgeStatMap.class);
            job.setReducerClass(AgeStatReducer.class);
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);

            job.setNumReduceTasks(1);

            FileInputFormat.addInputPath(job, new Path("hdfs://lh1/user/hive/warehouse/dwd.db/dwd_t_bank"));
            Path outPath = new Path("hdfs://lh1/Java/projects/t_bank_age_dws_temp");
            if(fs.exists(outPath)){
                fs.delete(outPath, true);
            }
            FileOutputFormat.setOutputPath(job, outPath);
            Boolean result = job.waitForCompletion(true);
            if(result){
                System.out.println("Job is complete!");
            }else{
                System.out.println("Job is fail!");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

开发com.lh.banksys.mr.EducationStatJob

package com.lh.banksys.mr;


import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


/**
 * @Classname EducationStatJob
 * @Description 受教育程度
 * @Date 2021/10/14 19:14
 * @Created by Tiger_Li
 */
public class EducationStatJob {

    public static class EducationStatMap extends Mapper<Object, Text, Text, IntWritable> {
        private static Text newKey =new Text();
        public void map(Object key, Text value, Context context)throws IOException, InterruptedException {
            String[] words = StringUtils.split(value.toString(), '\001');
            if(StringUtils.isNotBlank(words[3])){
                context.write(new Text(words[3]), new IntWritable(1));
            }
        }
    }

    public static class EducationStatReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        protected void reduce(Text key, Iterable<IntWritable> values,Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for(IntWritable i : values){
                sum += i.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) {
        Configuration config = new Configuration();
        try {
            FileSystem fs = FileSystem.get(config);
            Job job = Job.getInstance(config);
            job.setJobName("EducationStatJob");

            job.setJarByClass(EducationStatJob.class);
            job.setMapperClass(EducationStatMap.class);
            job.setReducerClass(EducationStatReducer.class);
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);

            job.setNumReduceTasks(1);

            FileInputFormat.addInputPath(job, new Path("hdfs://lh1/user/hive/warehouse/dwd.db/dwd_t_bank"));
            Path outPath = new Path("hdfs://lh1/Java/projects/t_bank_edu_dws_temp");
            if(fs.exists(outPath)){
                fs.delete(outPath, true);
            }
            FileOutputFormat.setOutputPath(job, outPath);
            Boolean result = job.waitForCompletion(true);
            if(result){
                System.out.println("Job is complete!");
            }else{
                System.out.println("Job is fail!");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

返回目录

打包好的架包上传node1节点并运行

# done
/opt/soft_installed/hadoop-2.7.3/bin/hadoop jar /home/lh/bank_v2-1.2.jar com.lh.banksys.mr.AgeStatJob
/opt/soft_installed/hadoop-2.7.3/bin/hadoop jar /home/lh/bank_v2-1.2.jar com.lh.banksys.mr.EducationStatJob

# ok
[root@master lh]# /opt/soft_installed/hadoop-2.7.3/bin/hadoop jar /home/lh/bank_v2-1.2-jar-with-dependencies.jar com.lh.banksys.mr.AgeStatJob

# check

[root@master ~]# hdfs dfs -ls /Java/projects/
Found 2 items
drwxr-xr-x   - root supergroup          0 2022-09-27 06:10 /Java/projects/t_bank_age_dws_temp
drwxr-xr-x   - root supergroup          0 2022-09-27 06:23 /Java/projects/t_bank_edu_dws_temp

返回目录

数据导入hive

在zeppelin中运行一下代码完成数据导入hive

-- done
load data inpath 'hdfs://lh1/Java/projects/t_bank_age_dws_temp' overwrite into table dws.dws_t_bank_age;
load data inpath 'hdfs://lh1/Java/projects/t_bank_edu_dws_temp' overwrite into table dws.dws_t_bank_edu;

select * from dws.dws_t_bank_age

在这里插入图片描述

返回目录

pblh123
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce数据统计简单实例
04-28
使用hadoop的eclipse插件开发的mapreduce程序，实现对数据的简单统计处理，包括可视化结果
mongoDB使用mapreduce实现简单的统计功能
技术成就梦想
04-26 5860
前段时间学习了一下mongoDB的mapReduce觉得用处还是比较大的，mapreduce弥补了mongoDB聚合函数的不足，执行效率稍微逊色了点，但是用处太多了。
12、Hadoop框架MapReduce 统计人数、总分、关联
hujieliang123的博客
02-16 4838
文章目录Hadoop框架MapReduce 统计人数、总分、关联数据 Hadoop框架MapReduce 统计人数、总分、关联 数据 students.txt 1500100001,施笑槐,22,女,文科六班 1500100002,吕金鹏,24,男,文科六班 1500100003,单乐蕊,22,女,理科六班 1500100004,葛德曜,24,男,理科三班 1500100005,宣谷芹,22,女,理科五班 1500100006,边昂雄,21,男,理科二班 1500100007,尚孤风,23,女,文科六班 1
MongoDB实战（4）MapReduce
weixin_34239169的博客
11-12 211
在 MongoDB 上使用 Map/Reduce进行并行"统计"很容易。使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value),遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。Map函数和Reduce函数可以使用 JavaScript 来实现,可以通过 db.runC...
【MapReduce】Mapreduce读取MySQL中的数据统计年龄
HR的博客
03-22 800
Mapreduce读取MySQL中的数据统计年龄导入MySQL的jar包数据代码实现实例化类MapperReduceDriver运行结果 导入MySQL的jar包 找到想要加入的jar包即可 数据 数据库中有上述数据，我们要求统计每个年龄的人数，然后将统计结果存入数据框中 创建一个表专门存储结果数据 代码实现 实例化类 存储数据类 import org.apache.hadoop.io.Writable; import org.apache.hadoop.mapreduce.lib.db.DBWri
基于MapReduce的气候数据分析.zip
最新发布
03-26
基于MapReduce的气候数据分析 是一个旨在通过大数据处理技术深入理解和分析气候数据的研究课题。该课题利用MapReduce编程模型，针对包括温度、湿度、风速等在内的多种气象参数进行处理，以应对传统方法在处理大规模...
基于MapReduce+Pandas的电影排名与推荐以及数据分析与可视化展示
04-25
基于MapReduce+Pandas的电影排名与推荐以及数据分析与可视化展示 数据科学与大数据技术领域中，电影排名与推荐系统的开发是非常重要的一部分。该系统可以通过对电影数据的分析和处理，提供电影排名和推荐服务，满足...
基于Hadoop MapReduce的高校考研分数线统计分析项目代码+数据集.rar
12-04
该项目是关于利用Hadoop ...总的来说，"基于Hadoop MapReduce的高校考研分数线统计分析项目"是一个结合理论与实践的优秀案例，涵盖了大数据处理的基本流程，对于提升数据分析技能、理解和应用MapReduce具有很高的价值。
基于MapReduce实现的TFIDF计算
07-10
在基于MapReduce实现TF-IDF计算时，这两个阶段分别负责不同的任务： 1. **Map阶段**： - 输入：原始的文本数据集，每个文件代表一个文档。 - 输出：键值对（<词，<文档ID，词频>>）。在这个阶段，我们需要对每个...
基于MapReduce的TF-IDF统计.zip
03-13
综上所述，"基于MapReduce的TF-IDF统计"是利用Hadoop的大数据处理能力，通过MapReduce框架并行计算文本数据的TF-IDF值，以实现高效的信息提取和文本分析。这一过程涉及了Hadoop的分布式文件系统HDFS、MapReduce编程...
hadoop MapReduce案例运营商关于用户基站停留数据统计
11-30
1、功能描述 用户的手机，连接到不同的基站会产生一条记录。 数据格式为：用户标识 设备标识 基站位置 通讯的日期 通讯时间 example： 0000009999 0054785806 00000089 2016-02-21 21:55:37 需要得到的数据格式为： 用户标识 时段 基站位置 停留时间 example： 0000000001 09-18 00000003 15 用户0000000001在09-18点这个时间段在基站00000003停留了15分钟
基于Hadoop平台使用MapReduce统计某银行信用卡违约用户数量
普通Gopher
09-06 578
统计某银行信用卡违约用户数量 csv下载地址 违约规则：AY_1～PAY_6：PAY_1为2005年9月的还款情况；PAY_2为2005年8月的还款情况；…；PAY_6为2005年4月的还款情况。BILL_AMT1～BILL_AMT6和PAY_AMT1～PAY_AMT6中数字标识的含义也是如此。 PAY_1～PAY_6的取值含义为：0 = 及时还；1 = 还款延迟一个月；2 = 还款延迟两个月；3...
大数据学习（七）：mapreduce实现wordcount计数
qq_33252988的博客
02-14 449
代码 package com.bigdata.mapreduce; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop...
【Daily Blog】使用MapReduce对数据进行简单的统计
weixin_45500051的博客
09-17 1349
第一次使用MapReduce进行数据处理，简单的进行记录（行业新人，如以下描述有错误部分，还望前辈指正，为谢！） MapReduce分为Map 和Reduce 两块，Map主要是对数据进行切分排序，reduce进行累加计数 如下为代码块： Mapper部分：分别获取每行数据，并对其按照用户要求进行拆分（下面代码是以空格进行拆分）进行拆分，通过遍历获取到每个每个拆分的数据对象，以key value...
hadoop之MapReduce统计选修课程人数，不及格门数，选课人数
hxhxhzjz的博客
05-14 4398
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 一、题目要求 二、数据解析 student.txt文件部分数据 三、需求分析及代码编写 总体的思路： 需求1：求DataBase课程的选修人数 需求2：求每个同学不及格的门数 需求3：求各个课程的选课人数 四、打包代码，上传到集群上运行 前言 已经配置好IDEA和hadoop的环境 一、题目要求 1、求DataBas...
MapReduce实验——统计拨打公共服务号码的电话信息
weixin_45740510的博客
12-30 520
统计拨打公共服务号码的电话信息 Map类 package PhoneCollect; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class MyMap extends Mapper<LongWritable,Text,Text,Te
mapreduce编程实例(5)-统计各州用户数
萧然
05-23 1602
其实这个也是wordcout的一种变形，它是统计每个州的用户数
Hadoop：MapReduce编程之统计每个订单价格最高的商品信息
Xiao Miao的博客
04-28 1342
要求：统计每个订单价格最高的那个商品的信息
2001-使用Hive+MR统计分析网站指标
艾文
11-25 4888
使用Hive+MR统计分析网站指标
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值