大数据Hadoop
记录学习Hadoop的笔记以及遇到的难点
一二三的小仓库
每天进步一点点
展开
-
hadoop文件系统查看gz压缩的文件内容
查看gz文件命令hadoop fs -cat /xxxx/xxx.gz | gzip -d 或hadoop fs -cat /xxxx/xxx.gz | zcat原创 2022-05-02 08:55:24 · 2628 阅读 · 0 评论 -
MapReduce之WordCount代码
整体的规划Mapper类继承Mapper 实现map方法Redcuer类继承Reducer类实现reduce方法Driver驱动类提交jobMap类package com.dcit.mr;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io原创 2022-04-04 11:38:27 · 2466 阅读 · 0 评论