【电商实战Hadoop实现--Day7】

---

---

项目需求

根据电商日志文件，分析：

1. 统计页面浏览量（每行记录就是一次浏览）

2. 统计各个省份的浏览量 （需要解析IP）

3. 日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）

   为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city

---

三、日志的ETL操作

代码如下（示例）：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;
import java.util.Map;

public class MainApp3 {

    // Driver端的代码：八股文
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();

        // 如果输出目录已经存在，则先删除
        FileSystem fileSystem = FileSystem.get(configuration);
        Path outputPath = new Path("/output/MainApp3");
        if(fileSystem.exists(outputPath)) {
            fileSystem.delete(outputPath,true);
        }

        Job job = Job.getInstance(configuration);
        job.setJarByClass(MainApp3.class);

        job.setMapperClass(MyMapper3.class);

        job.setMapOutputKeyClass(NullWritable.class);
        job.setMapOutputValueClass(Text.class);

        FileInputFormat.setInputPaths(job, new Path("/input/trackinfo_20130721.txt"));
        FileOutputFormat.setOutputPath(job, new Path("/output/MainApp3"));

        job.waitForCompletion(true);
    }



    //需求3
    static class MyMapper3 extends Mapper<LongWritable, Text, NullWritable, Text> {

        public MyMapper3() {
            // 添加一个无参构造函数
        }

        private LogParser parser;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            parser = new LogParser();
        }

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String log = value.toString();
            Map<String, String> logInfo = parser.parse(log);
            Text etl = new Text(logInfo.get("ip")+"\t"+logInfo.get("url")+"\t"+logInfo.get("sessionId")+"\t"+logInfo.get("time")+"\t"+logInfo.get("country")+"\t"+logInfo.get("province")+"\t"+logInfo.get("city"));
            context.write(NullWritable.get(), etl);
        }
    }



}

总结

ETL（Extract, Transform, Load）操作在数据处理过程中起着关键的作用。其目的是将数据从来源端进行抽取、转换，并最终加载到目标端。之所以要进行 ETL，是因为并非所有数据都需要被解析，只需提取有价值的字段即可。在本项目中，需要解析出的重要字段包括：IP 地址、URL、页面 ID（与主题 ID 相对应的页面 ID）、国家、省份、城市。

解析这些有价值的字段有助于提高数据处理的效率和准确性。例如，IP 地址可用于地理位置分析，URL 可用于了解用户访问的页面，页面 ID 可用于关联特定主题或页面，而国家、省份和城市等地理信息对于市场分析和区域洞察至关重要。

通过精心选择有价值的字段进行解析，我们能够减少数据量和处理时间，同时确保数据的质量和精准性。这样的处理方式使得数据更具实用性，为后续的分析和决策提供了更有意义的信息。

然而，具体选择哪些字段进行解析应根据项目的具体需求和目标来确定。在进行 ETL 操作时，需要深入了解业务需求，明确哪些字段对分析和决策最有帮助，然后进行相应的处理和转换，以满足项目的要求。