JAVA【词频统计】笔记

词频统计

• 参看本博《经典案例【词频统计】十一种实现方式》
• 针对单词文本文件，统计每个单词出现的次数

hello hadoop hello spark
i love you hadoop and spark
i learn hadoop and scala

思路：读取文件，通过拆分得到单词数组，定义一个哈希映射保存词频统计结果，遍历单词数组，如果第一次遇到某个单词，就在哈希映射里添加一个元素，单词为键，1为值；如果不是第一次遇到，那么在哈希映射里找到该键，将其值加1……

（一）编程实现

• 在项目根目录里创建单词文本文件 - words.txt
  
• 在net.nieyourong.p03里创建t08子包，在子包里创建WordCount类
  
• 读取文件所有行
  
• 将文件行按空格拆分成单词数组
  
• 针对每行单词数组进行词频统计
  
• 按指定格式输出词频统计结果
  
• 利用Python的绘图库来绘制词频统计的直方图
  
• 查看完整代码

package net.nieyourong.p03.t08;

import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;

/**
 * 功能：词频统计
 * 作者：聂友蓉
 * 日期：2022年06月09日
 */
public class WordCount {
    public static void main(String[] args) throws Exception {
        //定义缓冲字符输入流
        BufferedReader br =new BufferedReader(new FileReader("words"));
        //定义词频统计哈希映射
        Map<String,Integer> wc = new HashMap<>();
        //定义行字符串变量
        String nextLine = "";
        //读取文件，遍历所有行
        while ((nextLine = br.readLine()) != null) {
            //按空格拆分，得到单词数组
            String[] words = nextLine.split(" ");
            //遍历单词数组,进行单词计数
            for (String word : words) {
                wc.put(word,wc.containsKey(word)? wc.get(word) + 1 : 1);
            }
        }
        //按照指定格式输出词频统计结果
        for (String key : wc.keySet()) {
            System.out.println("(" + key + "," + wc.get(key) + ")");
        }
    }
}

思考题：将词频统计结果按次数降序排列

（二）知识点讲解

1、哈希映射

• put(key, value) - 添加元素（键值对）
• get(key) - 按键取值
• containsKey(key) - 是否包含某个键
• keySet() - 键集合
• values() - 值集合

2、哈希集合

• add(e) - 添加元素
• remove(e) - 移除元素
• size() - 集合元素个数
• isEmpty() - 是否为空集

（三）拓展练习

任务1、网址去重

• 去掉重复ip地址，生成distinct_ips.txt
  

任务2、统计不同网址访问次数