计算文本信息熵

最新推荐文章于 2023-02-07 22:18:45 发布

移不动的傻大土

最新推荐文章于 2023-02-07 22:18:45 发布

阅读量4k

点赞数 4

分类专栏：自然语言处理文章标签：自然语言处理文本信息熵

本文链接：https://blog.csdn.net/u014296371/article/details/80713293

版权

这段代码展示了如何使用Java计算文本信息熵。通过读取文件、统计字符出现次数并应用信息熵公式，最终得出文本的信息熵。程序还计算了执行时间。

摘要由CSDN通过智能技术生成

package Nlp;

import org.apache.commons.lang.StringUtils;
import java.io.*;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.*;
import java.util.stream.Collectors;
import java.util.stream.Stream;

/**
 * @author ruyi.yury
 * @date 2018/6/11 0011 20:29
 */
public class CalculateEntropy {
    /**
     * 文件路径
     */
    private final static String path = "H:\\weibo.txt";
    /**
     * 信息熵
     */
    private double entropy = 0.0;


    public static void main(String[] args) throws IOException {
        calculate(path);
    }

    /**
     * 计算信息熵
     *
     * @param path
     * @return
     */
    public static void calculate(String path) {
        long startTime = System.currentTimeMillis();
        try {
            //读取文件，统计同类字出现次数,以(k,v)存储，k为字，v为该字的数量
            Map<Object, Long> map = Files.lines(Paths.get(path), Charset.defa