任务8：词频统计

词频统计

• 针对单词文本文件，统计每个单词出现的次数

hello hadoop hello spark
i love you hadoop and spark
i learn hadoop and scala

• 思路：读取文件，通过拆分得到单词数组，定义一个哈希映射保存词频统计结果，遍历单词数组，如果第一次遇到某个单词，就在哈希映射里添加一个元素，单词为键，1为值；如果不是第一次遇到，那么在哈希映射里找到该键，将其值加1……

（一）编程实现

• 在项目根目录里创建单词文本文件 - words.txt
  

• 创建WordCount类

• 读取所有行
  

• 将文件行按空格拆分成单词数组
  

• 针对每行单词数组进行词频统计
  

查看完整代码

import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;

/**
 * 功能：
 * 作者：李枝蔓
 * 日期：2022年06月08日
 */
public class WordCount {
    public static void main(String[] args) throws Exception {
        // 定义缓冲字符输入流
        BufferedReader br = new BufferedReader(new FileReader("words.txt"));
        // 定义词频统计哈希映射
        Map<String, Integer> wc = new HashMap<>();
        // 定义行字符串变量
        String nextLine = "";
        // 读取文件，遍历所有行
        while ((nextLine = br.readLine()) != null) {
            // 按空格拆分，得到单词数组
            String[] words = nextLine.split(" ");
            // 遍历单词数组，进行单词计数
            for (String word: words) {
                wc.put(word, wc.containsKey(word)? wc.get(word) + 1 : 1);
            }
        }
        // 按照指定格式输出词频统计结果
        for (String key : wc.keySet()) {
            System.out.println("(" + key + "," + wc.get(key) + ")");
        }
    }

}

• 运行结果如下：
  

（二）知识点讲解

• 1、哈希映射
  put(key, value) - 添加元素（键值对）
  get(key) - 按键取值
  containsKey(key) - 是否包含某个键
  keySet() - 键集合
  values() - 值集合
• 2、哈希集合
  add(e) - 添加元素
  remove(e) - 移除元素
  size() - 集合元素个数
  isEmpty() - 是否为空集