HDFSWCApp01.java
package com.imooc.bigdata.hadoop.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;
import java.util.Map;
import java.util.Set;
/**
* 使用HDFS API完成wordcount统计
*
* 需求:统计HDFS上的文件的wc,然后将统计结果输出到HDFS
*
* 功能拆解:
* 1)读取HDFS上的文件 ==> HDFS API
* 2)业务处理(词频统计):对文件中的每一行数据都要进行业务处理(按照分隔符分割) ==> Mapper
* 3)将处理结果缓存起来 ==> Context
* 4)将结果输出到HDFS ==> HDFS API
*
*/
public class HDFSWCApp01 {
public static void main(String[] args) throws Exception {
// 1)读取HDFS上的文件 ==> HDFS API
Path input = new Path("/hdfsapi/test/h.txt");
// 获取要操作的HDFS文件系统
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.0.233:8020"), new Configuration