由nutch readseg -dump 中文编码乱码想到的……
两周前,我参考Hadoop权威指南2,写了一个读取SequenceFile的类,想读取Nutch抓取下来的segments文件。当时如果Nutch抓取的是utf8编码的中文页面就可以正常读取,但如果网页是中文编码的话就会出现乱码,比如我抓取了www.163.com,用
bin/nutch crawl urls/ -dir crawl/www.163.com/ -depth 3 -topN ...
原创
2012-05-13 22:37:10 ·
91 阅读 ·
0 评论