Cpdetector识别网页编码 解决Java爬虫乱码问题
概述
在使用Java的第三方类库HttpClient或者OkHttp爬取网页文件时,由于网页编码的不同,导致有的页面中文存在乱码问题。为了能够正确解析网页内容,必须对网页的编码进行识别,Cpdetector就是一款很好用的编码识别的工具。
在 http://sourceforge.net/projects/cpdetector/ 这个地址可以下载到(可能需要翻墙)
这里提供下载地址:cpdetector_1.0.10_binary.zip
实例
import info.monitorenter.cpdetector.io.*;
import java.net.URL;
public class Cpdetector {
private CodepageDetectorProxy detector;