最近在使用HeriTrix爬去数据,发现爬取的结果有的是乱码。自己知道是编码问题。就读源码以解决问题。
解决方法
找到heritrix-1.14.4-src\src\java\org\archive\io\ReplayInputStream.java文件
将
改为
这样更改之后,爬取的数据就不会出现乱码了!
解决方法
找到heritrix-1.14.4-src\src\java\org\archive\io\ReplayInputStream.java文件
将
public void readFullyTo(OutputStream os) throws IOException {
byte[] buf = new byte[4096];
int c = read(buf);
while (c != -1) {
os.write(buf,0,c);
c = read(buf);
}
}
改为
public void readFullyTo(OutputStream os) throws IOException {
byte[] buf = new byte[4096];
int c = read(buf);
while (c != -1) {
//在这里可以将"UTF-8"替换成自己需要的编码方式
String str_changed_by_cdw = new String(buf,0,c,"UTF-8");
os.write(str_changed_by_cdw.getBytes());
c = read(buf);
}
}
这样更改之后,爬取的数据就不会出现乱码了!