Nutch中的一些小的问题解决

转载 2013年12月02日 10:14:28

今天主要解决了Nutch中的一些小的问题,下面分别简述一下。

1.网页快照乱码问题

Nutch的网页快照是乱码,解决办法是修改tomcat/webapps/nutch目录下的cached.jsp文件,修改其中的第63行。

原来的代码是:content = new String(bean.getContent(details);

修改后的代码是:content = new String(bean.getContent(details),"gb2312");

2.搜索结果高亮显示

Nutch默认的搜索结果是没有高亮的,解决办法是在关键词中加入html颜色标签。

将 org.apache.nutch.searcher.Summary 第107行 代码 修改为:

public String toString() {
    StringBuffer buffer = new StringBuffer();
    for (int i = 0; i < fragments.size(); i++) {
      buffer.append(fragments.get(i));
    }
    return "<span style='color:red'>" + buffer.toString()+ "</span>"; 
}

3.抓取页面大小

Nutch默认只抓取一个页面的前65k的内容,在我抓取bbs的时候,会出现只能抓取前几个回帖的内容,所以想抓取整个页面的内容,就要解除65k的限制。解决方法是修改nutch/conf中的nutch-site.xml文件,在文件最后添加以下内容:

<property>
<name>http.content.limit</name>
<value>-1</value>
<description>The length limit for downloaded content, in bytes.
If this value is nonnegative (>=0), content longer than it will be truncated;
otherwise, no truncation at all.
</description>
</property>

举报

相关文章推荐

[Nutch]编译hadoop出现object[]无法转换为K[]问题解决

在使用JDK8编译hadoop 1.2.1的时候会出现object[]无法转换为K[]的问题

nutch1.2常见问题解决

这里是将前边几篇当中的一些常见问题进行下总结,都是自己遇到并解决的,也许是不全 1、缺少chmod命令异常             因为nutch在window下运行时需要linux某些命令,所以...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

关于nutch1.2 配置到tomcat中搜索不到结果的问题解决

在官网上下了nutch1.2,配置到windows中,然后又将nutch-1.2.war配置到tomcat里。 经过一系列的配置,成功爬怪到了网页内容,用命令【bin/nutch org.apach...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)