Heritrix-1.14.4爬取数乱编码问题解决方法

最新推荐文章于 2022-02-25 20:00:37 发布

cdwzwd

最新推荐文章于 2022-02-25 20:00:37 发布

阅读量151

点赞数

文章标签： OS C C++ C# Java

最近在使用HeriTrix爬去数据，发现爬取的结果有的是乱码。自己知道是编码问题。就读源码以解决问题。

解决方法
找到heritrix-1.14.4-src\src\java\org\archive\io\ReplayInputStream.java文件
将

    public void readFullyTo(OutputStream os) throws IOException {
        byte[] buf = new byte[4096];
        int c = read(buf);
        while (c != -1) {
            os.write(buf,0,c);
            c = read(buf);
        }
    }

改为

public void readFullyTo(OutputStream os) throws IOException {
        byte[] buf = new byte[4096];
        int c = read(buf); 
        while (c != -1) {
            //在这里可以将"UTF-8"替换成自己需要的编码方式
            String str_changed_by_cdw = new String(buf,0,c,"UTF-8");
	        os.write(str_changed_by_cdw.getBytes());
            c = read(buf);
        }
    }

这样更改之后，爬取的数据就不会出现乱码了！