关闭

Nutch中的一些小的问题解决

标签: nutch
577人阅读 评论(0) 收藏 举报
分类:

今天主要解决了Nutch中的一些小的问题,下面分别简述一下。

1.网页快照乱码问题

Nutch的网页快照是乱码,解决办法是修改tomcat/webapps/nutch目录下的cached.jsp文件,修改其中的第63行。

原来的代码是:content = new String(bean.getContent(details);

修改后的代码是:content = new String(bean.getContent(details),"gb2312");

2.搜索结果高亮显示

Nutch默认的搜索结果是没有高亮的,解决办法是在关键词中加入html颜色标签。

将 org.apache.nutch.searcher.Summary 第107行 代码 修改为:

public String toString() {
    StringBuffer buffer = new StringBuffer();
    for (int i = 0; i < fragments.size(); i++) {
      buffer.append(fragments.get(i));
    }
    return "<span style='color:red'>" + buffer.toString()+ "</span>"; 
}

3.抓取页面大小

Nutch默认只抓取一个页面的前65k的内容,在我抓取bbs的时候,会出现只能抓取前几个回帖的内容,所以想抓取整个页面的内容,就要解除65k的限制。解决方法是修改nutch/conf中的nutch-site.xml文件,在文件最后添加以下内容:

<property>
<name>http.content.limit</name>
<value>-1</value>
<description>The length limit for downloaded content, in bytes.
If this value is nonnegative (>=0), content longer than it will be truncated;
otherwise, no truncation at all.
</description>
</property>

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

关于 json解析过程中的一个问题的解决

在编写一个项目练手的时候,发现程序并没有缺少数据,也没有语法错误,部分程序如下: private void initViewOper() { // TODO Auto-generated method...
  • TopWilling
  • TopWilling
  • 2016-07-19 19:35
  • 1295

浅谈以数据结构的视角去解决算法问题的步骤

浅谈以数据结构的视角去解决算法问题的步骤 在程序设计中,很多复杂的算法设计问题,从数据结构的角度来看其实都可以按照这种思路来解决: 1.对于要处理的一组数据,根据实际需求整理出要处理的数据元素...
  • zolalad
  • zolalad
  • 2014-05-14 14:49
  • 1508

Nutch-2.2.1学习之二编译部署Nutch及常见问题

Nutch1.x从1.7版本开始不再提供完整的部署文件,只提供源代码文件及相关的build.xml文件,这就要求用户自己编译Nutch,而整个Nutch2.x版本都不提供编译完成的文件,所以想要学习N...
  • sky_walker85
  • sky_walker85
  • 2013-11-23 21:57
  • 12804

[Nutch]编译hadoop出现object[]无法转换为K[]问题解决

在使用JDK8编译hadoop 1.2.1的时候会出现object[]无法转换为K[]的问题
  • Kandy_Ye
  • Kandy_Ye
  • 2016-06-16 16:56
  • 2180

关于nutch1.2 配置到tomcat中搜索不到结果的问题解决

在官网上下了nutch1.2,配置到windows中,然后又将nutch-1.2.war配置到tomcat里。 经过一系列的配置,成功爬怪到了网页内容,用命令【bin/nutch org.apach...
  • zhujie378
  • zhujie378
  • 2015-09-11 10:15
  • 358

nutch1.2常见问题解决

这里是将前边几篇当中的一些常见问题进行下总结,都是自己遇到并解决的,也许是不全 1、缺少chmod命令异常             因为nutch在window下运行时需要linux某些命令,所以...
  • erliang20088
  • erliang20088
  • 2015-05-17 16:25
  • 350

解决nutch在window系统安装问题

  • 2014-01-18 00:35
  • 4.03MB
  • 下载

nutch2.x在eclipse+windows环境下运行遇到的一些问题的解决方案

1、问题 permission /tmp/hadoop.... 解决方法:下载hadoop源码包,修改org.apache.hadoop.fs.FileUtil.java文件中方法checkRetu...
  • ak57193856
  • ak57193856
  • 2017-10-20 22:51
  • 59

基于广度优先搜索的八数码问题解决方案_钱莹.pdf

  • 2018-01-02 20:31
  • 66KB
  • 下载

SQL注入安全问题解决方案-JAVA

  • 2017-11-25 14:35
  • 86KB
  • 下载
    个人资料
    • 访问:342547次
    • 积分:3883
    • 等级:
    • 排名:第9496名
    • 原创:93篇
    • 转载:138篇
    • 译文:2篇
    • 评论:56条
    最新评论