词频统计
- 针对单词文本文件,统计每个单词出现的次数
hello hadoop hello spark
i love you hadoop and spark
i learn hadoop and scala
- 思路:读取文件,通过拆分得到单词数组,定义一个哈希映射保存词频统计结果,遍历单词数组,如果第一次遇到某个单词,就在哈希映射里添加一个元素,单词为键,1为值;如果不是第一次遇到,那么在哈希映射里找到该键,将其值加1……
(一)编程实现
-
在项目根目录里创建单词文本文件 - words.txt
-
创建WordCount类
-
读取所有行
-
将文件行按空格拆分成单词数组
-
针对每行单词数组进行词频统计
查看完整代码
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;
/**
* 功能:
* 作者:李枝蔓
* 日期:2022年06月08日
*/
public class WordCount {
public static void main(String[] args) throws Exception {
// 定义缓冲字符输入流
BufferedReader br = new BufferedReader(new FileReader("words.txt"));
// 定义词频统计哈希映射
Map<String, Integer> wc = new HashMap<>();
// 定义行字符串变量
String nextLine = "";
// 读取文件,遍历所有行
while ((nextLine = br.readLine()) != null) {
// 按空格拆分,得到单词数组
String[] words = nextLine.split(" ");
// 遍历单词数组,进行单词计数
for (String word: words) {
wc.put(word, wc.containsKey(word)? wc.get(word) + 1 : 1);
}
}
// 按照指定格式输出词频统计结果
for (String key : wc.keySet()) {
System.out.println("(" + key + "," + wc.get(key) + ")");
}
}
}
- 运行结果如下:
(二)知识点讲解
- 1、哈希映射
put(key, value) - 添加元素(键值对)
get(key) - 按键取值
containsKey(key) - 是否包含某个键
keySet() - 键集合
values() - 值集合 - 2、哈希集合
add(e) - 添加元素
remove(e) - 移除元素
size() - 集合元素个数
isEmpty() - 是否为空集