“Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事

Echo_Wish

于 2025-05-18 14:02:48 发布

阅读量507

点赞数 11

分类专栏：大数据文章标签： hadoop 数据分析大数据

本文链接：https://blog.csdn.net/weixin_46178278/article/details/148043583

版权

大数据专栏收录该内容

100 篇文章

订阅专栏

“Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事

咱今天唠唠大数据的“老大哥”——Hadoop。

在如今这个“数据多到怀疑人生”的时代，Hadoop依旧是很多企业大数据体系的核心支柱，尤其是初入门的新手朋友，或者刚转型搞数据的程序员兄弟姐妹们，弄清楚Hadoop是绕不开的必修课。

别光听“MapReduce”、“HDFS”这些词觉得头大，其实Hadoop并没有你想象得那么玄乎。本文我就用最接地气的方式，带你从“为啥要用Hadoop”，到“怎么用Hadoop干活”，手把手撸个实战案例，一起把Hadoop这座大山搬平！

一、为啥用Hadoop？手撸Excel不香吗？

先说个真事：我认识一个做运营分析的朋友，用Excel处理一个几百万行的CSV，直接卡到爆炸，电脑风扇转得像起飞。那会我说：你得上Hadoop了！

Hadoop好在哪？

能扛大数据：Hadoop能把几十上百G甚至TB级别的数据拆分成小块，丢到一堆服务器上并行处理。
容错能力强：哪台机器罢工了，它能自动识别重试，数据不丢。
省钱：用一堆普通配置的机器就能搞定，不一定非得上昂贵的服务器。

一句话总结：Hadoop是为“穷人”设计的大数据处理神器。

二、Hadoop架构快速扫盲：别被术语吓着

说白了，Hadoop就两大件：

HDFS（分布式文件系统）：数据怎么存？
MapReduce（分布式计算框架）：数据怎么算？

举个栗子哈：
你有100G的订单数据，放到HDFS上自动切片；然后写个MapReduce程序分析每个用户下了几单，程序会自动分发到多台机器上并发跑，完事再把结果汇总。

是不是感觉比Python一行行for循环高端多了？

三、撸一个MapReduce代码，带你搞懂核心逻辑

假设我们有一个电商平台的订单数据，每一行记录一个订单，内容如下：

user1,手机,2999
user2,耳机,399
user1,充电宝,199
user3,电脑,5999

我们想统计每个用户的消费总额。

来，我们写一个最简单的Hadoop MapReduce程序（Java版的，放心，我讲得清楚）：

Mapper类：把每行数据变成 key-value

public class OrderMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private Text user = new Text();
    private IntWritable amount = new IntWritable();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        user.set(fields[0]);
        amount.set(Integer.parseInt(fields[2]));
        context.write(user, amount);
    }
}

这里干了啥？
每行按逗号拆开，取出用户名和金额，context.write这一步就是在“发射”key-value对。

Reducer类：把相同用户的金额加总

public class OrderReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

这里的关键在于：每个用户的key聚合在一起，我们在reduce里把所有金额加起来，再输出。

主函数驱动类：把Mapper和Reducer串起来

public class OrderDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Order Sum");

        job.setJarByClass(OrderDriver.class);
        job.setMapperClass(OrderMapper.class);
        job.setReducerClass(OrderReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}