菜瓜的博客

目录 1．需求 2、建立maven工程编写代码 1.配置在pom.xml文件中添加如下依赖 编写程序 （1）编写Mapper类 （2）编写Reducer类 （3）编写Driver驱动类 3．本地测试 4、集群上测试 1．需求 在给定的文本文件中统计输出每一个单词出现的总次数 （1）输入数据 ss ss cls cls jiao shi wangwu cls banzhang xue hadoop （2）期望输出数据 banzhang 1 cls 3 hadoop...

3.9 数据清洗（ETL） 目录 3.9 数据清洗（ETL） 3.9.1 数据清洗案例实操-简单解析版 3.9.2 数据清洗案例实操-复杂解析版 3.10 MapReduce开发总结 在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 3.9.1 数据清洗案例实操-简单解析版 1．需求 去除日志中字段长度小于等于11的日志。 （1）输入数据 194.237.142.21