Nutch二次开发总结（二）

最新推荐文章于 2022-01-06 18:49:40 发布
最新推荐文章于 2022-01-06 18:49:40 发布
阅读量1.1k 收藏
点赞数
分类专栏： 搜索引擎 文章标签： input action string query lucene null

 

3搜索结果优化
使用nutch 0.9自带的程序包搜索的时候，存在一个冗余数据的情况。例如，如果想搜索关于姚明、易建联等的信息时，nutch默认会把网页中导航条或者一些标题等中包含姚明和易建联信息的页面检索出来，以腾讯为例，http://sports.qq.com/nba/的导航条部分包含了姚明和易建联。但这个页面的其他信息没有设计到姚明和易建联，所以这个页面可能实际上不是我们想要的；
还有一种情况，当我们想搜索“莎娃”的时，nutch会抓取到http://sports.qq.com/a/20090108/000407.htm，但实际上“莎娃”只是在这个页面的右边超链接款上有包含“莎娃”的信息。这个页面也可能不是我们想要的。
nutch通过HTMLParser把爬取到的网页解析成文本格式，保存到本地硬盘，然后再通过lucene建立索引，如果想达到去除无用信息目的，就要从图中红色标注的部分入手。

优化搜索结果方法1：
改写org.apache.nutch.parse.html.DOMContentUtils文件，修改方法getTextHelper方法：
getTextHelper源代码：
private boolean getTextHelper(StringBuffer sb, Node node,                                              boolean abortOnNestedAnchors,                                             int anchorDepth) {
    if ("script".equalsIgnoreCase(node.getNodeName())) {
      return false;
    }
    if ("style".equalsIgnoreCase(node.getNodeName())) {
      return false;
    }
    if (abortOnNestedAnchors && "a".equalsIgnoreCase(node.getNodeName())) {
      anchorDepth++;
      if (anchorDepth > 1)
        return true;
    }
    if (node.getNodeType() == Node.COMMENT_NODE) {
      return false;
    }
    if (node.getNodeType() == Node.TEXT_NODE) {
      // cleanup and trim the value
      String text = node.getNodeValue();
      text = text.replaceAll("//s+", " ");
      text = text.trim();
      if (text.length() > 0) {
        if (sb.length() > 0) sb.append(' ');
      sb.append(text);
      }
    }
    boolean abort = false;
    NodeList children = node.getChildNodes();
    if (children != null) {
      int len = children.getLength();
      for (int i = 0; i < len; i++) {
        if (getTextHelper(sb, children.item(i),
                          abortOnNestedAnchors, anchorDepth)) {
          abort = true;
          break;
        }
      }
    }
    return abort;
}

自定义方法（实际上就是过滤掉解析下来包含<a href=" ">的信息）：
private boolean getTextHelper(StringBuffer sb, Node node,
                                             boolean abortOnNestedAnchors,
                                             int anchorDepth) {
    if ("script".equalsIgnoreCase(node.getNodeName())) {
      return false;
    }
    if ("style".equalsIgnoreCase(node.getNodeName())) {
      return false;
    }
    if (abortOnNestedAnchors && "a".equalsIgnoreCase(node.getNodeName())) {
      anchorDepth++;
      if (anchorDepth > 1)
        return true;
    }
    if (node.getNodeType() == Node.COMMENT_NODE) {
      return false;
    }

    if (node.getNodeType() == Node.TEXT_NODE) { //node是解析下来的网页源文件所包含的内容

                           //Node.TEXT_NODE:节点属于文本节点<body><div><a href><td>等标签
      // cleanup and trim the value
      String text = node.getNodeValue();         //获取节点里面的文本内容，相当与去掉HTML标签

       /* 过滤掉包含的特殊字符*/
      text = text.replaceAll("//s+", " ");
      text = text.replace("【", "");
      text = text.replace("】", "");
      text = text.replace("[", "");
      text = text.replace("]", "");
      text = text.replace("|", "");
      text = text.replace("┊", "");
      text = text.replace("?", "");
      text = text.replace("?", "");
      text = text.replace("？", "");
      text = text.replace("|", "");
      text = text.replace("、", "");
      text = text.replace("-", "");
      text = text.replace("~", "");
      text = text.replace("!", "");
      text = text.replace("@", "");
      text = text.replace("#", "");
      text = text.replace("$", "");
      text = text.replace("^", "");
      text = text.replace("*", "");
      text = text.replace("(", "");
      text = text.replace(")", "");
      text = text.replace("%", "");
      text = text.replace(">", "");
      text = text.replace("?", "");
      text = text.replace("%", "");

      text = text.trim();

     temp = node.getParentNode().toString();                         //获取父节点的标签

      if (text.length() > 0 && temp.indexOf("A:") == -1) {         //如果属于<a href>，则过滤...

        if (sb.length() > 0) sb.append(' ');
      sb.append(text);
      }
    }
    boolean abort = false;
    NodeList children = node.getChildNodes();
    if (children != null) {
      int len = children.getLength();
      for (int i = 0; i < len; i++) {
        if (getTextHelper(sb, children.item(i),
                          abortOnNestedAnchors, anchorDepth)) {
          abort = true;
          break;
        }
      }
    }
    return abort;
}

4 高亮显示
高亮显示涉及到的类为：org.apache.nutch.searcher.Summary，修改该类即可：
public String toHtml(boolean encode) {
    Fragment fragment = null;
    StringBuffer buf = new StringBuffer();
    for (int i=0; i<fragments.size(); i++) {
      fragment = (Fragment) fragments.get(i);
      if (fragment.isHighlight()) {
        buf.append("<span style=/"color:red /" >")    // 修改前语句 buf.append("<span style=/"hightlight /" >")   
           .append(encode ? Entities.encode(fragment.getText())
                          : fragment.getText())
           .append("</span>");
      } else if (fragment.isEllipsis()) {
        buf.append("<span class=/"ellipsis/"> ... </span>");
      } else {
        buf.append(encode ? Entities.encode(fragment.getText())
                          : fragment.getText());
      }
    }
    return buf.toString();
}

5分页功能
默认情况下，搜索引擎Nutch在查询搜索结果时，只有下一页功能。主要是Nutch采用了“80/20”原则，即返回前面最相关的记录，而基本上的用户都不会去关心第三页以扣的内容。实现了分页功能，并把是show all hits删去：
1 删去show all hits(在search.jsp中)修改：
         int hitsPerSite = 0; // max hits per site
2分页功能
<table align="center">
     <tr>
       <td>
         <%
           if (start >= hitsPerPage) // more hits to show
              {
          %>
             <form name="pre" action="../search.jsp" method="get">
                  <input type="hidden" name="query" value="<%=htmlQueryString%>">
                  <input type="hidden" name="lang" value="<%=queryLang%>">
                  <input type="hidden" name="start" value="<%=start - hitsPerPage%>">
                  <input type="hidden" name="hitsPerPage" value="<%=hitsPerPage%>">
                  <input type="hidden" name="hitsPerSite" value="<%=hitsPerSite%>">
                  <input type="hidden" name="clustering" value="<%=clustering%>">
                  <input type="submit" value="上一页">
           <%} %>
             </form>
           <%
      int startnum=1;//页面中最前面的页码编号，我设定（满足）共10页，当页为第6页
                    if((int)(start/hitsPerPage)>=5)
                    startnum=(int)(start/hitsPerPage)-4;
                    for(int i=hitsPerPage*(startnum-1),j=0;i<=hits.getTotal()&&j<=10;)
                    {
                     %>
                     <td>
                     <form name="next" action="../search.jsp" method="get">
                        <input type="hidden" name="query" value="<%=htmlQueryString%>">
                        <input type="hidden" name="lang" value="<%=queryLang%>">
                        <input type="hidden" name="start" value="<%=i%>">
                        <input type="hidden" name="hitsPerPage" value="<%=hitsPerPage%>">
                        <input type="hidden" name="hitsPerSite" value="<%=hitsPerSite%>">
                        <input type="hidden" name="clustering" value="<%=clustering%>">
                        <input type="submit" value="<%=i/hitsPerPage+1 %>">
                    </form>
                    </td>
                    <%
                    i=i+5;
                    j++;
                    }
                     %>
                <td>
                    <%
         if ((hits.totalIsExact() && end < hits.getTotal()) // more hits to show
                                || (!hits.totalIsExact() && (hits.getLength() > start
                                + hitsPerPage))) {
                    %>
                   
                    <form name="next" action="../search.jsp" method="get">
                        <input type="hidden" name="query" value="<%=htmlQueryString%>">
                        <input type="hidden" name="lang" value="<%=queryLang%>">
                        <input type="hidden" name="start" value="<%=end%>">
                        <input type="hidden" name="hitsPerPage" value="<%=hitsPerPage%>">
                        <input type="hidden" name="hitsPerSite" value="<%=hitsPerSite%>">
                        <input type="hidden" name="clustering" value="<%=clustering%>">
                        <input type="submit" value="<i18n:message key="next"/>">//下一页
                    </form>
                    <%} %>
                    </td>
                  </tr>
                    </table>
<%
    i=i+5;
    j++;
}
这里的i应该改成i=i+10,才会以每页10记录显示
如果按照5条记录显示的话,上面的hitsPerPage定义要改变
否则会显示不对

hfutxrg
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nutch1.7二次开发培训讲义
03-07
Nutch 二次开发培训讲义 杨尚川
Nutch2.4+IDEA 在Windows10环境进行二次开发
u011880357的专栏
03-02 169
二次开发环境搭建的详细步骤
Nutch安装第四天，进入正题，Nutch2.4的配置和编译
xiaomage_cn的专栏
03-16 760
今天该进入主题了 十一、Nutch 首先是下载，原来只有一个版本，当时折腾的时候是1.0，现在突然冒出两个版本，一个1.16，一个2.4，那么到底有什么差别呢？先查查资料看看再说。 现在Nutch分为两个版本：1.x和2.x，这两个版本的主要区别在于底层的存储不同。1.x版本是基于Hadoop架构的，底层存储使用的是HDFS，而2.x通过使用ApacheGora，...
Windows下安装Nutch
bbflyerwww的专栏
07-25 872
 J2SETomcatCygwinNutch1 安装J2SE2 安装Tomcat3 安装Cygwin4 Nutch解压配置 nutch配置抓取过滤器，确定要抓取的网站地址    打开NUTCH_HOME/conf/crawl-urlfilter.txt    # accept hosts in MY.DOMAIN.NAME    +^http://([a-z0-9]*/.)*baidu.c
Nutch爬取图片保存到本地
weixin_33940102的博客
12-11 203
2019独角兽企业重金招聘Python工程师标准>>> ...
使用代码查看Nutch爬取的网站后生成的SequenceFile信息
weixin_34267123的博客
10-09 94
    必须针对data文件中的value类型来使用对应的类来查看(把这个data文件,放到了本地Windows的D盘根目录下). 代码: 1 package cn.summerchill.nutch; 2 import java.io.IOException; 3 4 import org.apache.hadoop.conf.Configuration; 5 i...
nutch二次开发学习笔记
10-04
我们需要去抓取网页数据的时候我们就用nutch来爬取，我们对它进行二次开发使其更加符合我们的需求
Nutch1.7二次开发培训讲义 之 腾讯微博抓取分析
03-12
Nutch1.7二次开发培训讲义 之 腾讯微博抓取分析
Nutch插件开发文档
01-14
Nutch 高级 插件是开发 多Nutch内部的流程有很好的解释和说明
Nutch爬去目录内容
carrots
04-26 270
nutch爬虫在执行数据抓取的过程中，在data目录下面有crawldb和segments两个目录:  下面我们对这两个目录里面的内容做详细的介绍： 1. crawldb crawldb里面存储的是爬虫在抓取过程中的所有的URL，里面也有两个目录：current和old。    之前已经抓取过的url放到old目录中，当前需要执行的放到current目录里面。 在c
apache-nutch-2.3.1 源码和构建好的库文件等 （part 3）
10-15
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己 的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不利于广大Internet用户. Nutch为我们提供了这样一个不同的选择. 相对于那些商用的搜索引擎, Nutch作为开放源代码 搜索引擎将会更加透明, 从而更值得大家信赖. 现在所有主要的搜索引擎都采用私有的排序算法, 而不会解释为什么一个网页会排在一个特定的位置. 除此之外, 有的搜索引擎依照网站所付的 费用, 而不是根据它们本身的价值进行排序. 与它们不同, Nutch没有什么需要隐瞒, 也没有 动机去扭曲搜索的结果. Nutch将尽自己最大的努力为用户提供最好的搜索结果.
Nutch Crawler抓取数据并存储到MySQL
soledede
05-28 169
Apache Nutch是在Java平台上开发的开源网络爬虫工具。按照Nutch官方网站给出的向导，通过使用Nutch命令，可以比较容易地抓取指定种子网站的数据。不过，若是要通过它提供的Java API，以编程方式抓取数据，并存储到指定的数据存储，如MySQL，则有一些技巧或者说秘诀需要注意。经过这几天抽空进行的试验，并查询了相关资料，完成了指定网站数据的抓取。 首先，需要准备好Nutch。...
Nutch2.4 存储方式配置
qq_43203949的博客
01-06 1171
Nutch2.x 存储方式配置 Nutch2.x存储映射技术Gora 在Nutch2.x只后，Nutch存储映射使用apache的Gora(Gora是一个开源的ORM框架)，为了了解Gora是个什么东西，我就从网上随便搜了一些Gora框架的介绍。 Gora就是一个大数据的表示与持久化框架，它有如下特点 数据持久化：它可以对列数据进行持久化，如HBase,Cassandra,Hypertable; key-value数据进行持久化，如Voldermort,Redis等，SQL数据库进行持久化，如MySQ
Nutch-2.2.1学习之五Nutch抓取数据在HBase中的存储
热门推荐
skyWalker_ONLY
12-12 1万+
Nutch-2.2.1爬取的数据可以存储在HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中，这是与Nutch-1.x系列很大的区别，在提供多样性的同时也增加了一些复杂性，比如使用不同存储时的不同配置，对特定的存储结构客户端处理方式的不同等等。这篇文章主要介绍了Nutch-2.2.1与HBase结合使用时，Nutch爬取的数据在HB
nutch 高亮和增加索引长度
吴楚狂生
11-18 1787
 高亮显示比较简单，网上也有很多介绍代码。修改如下：将 org.apache.nutch.searcher.Summary 第 54行 代码 修改为： public String toString() { return "" + super.toString() + ""; }增加索引长度花了我比较长的时间 ， 不过后来发现原来有两个参数是专门调整索引长度的 ，刚看代码的时候没有注意到
Nutch -0.8.1 摘要高亮出错分析
dingding1984的专栏
04-24 612
Nutch-0.8.1中summary出错报告出错问题描述：Nutch-0.8.1中，中文分词采用的单字分法。搜索时返回的摘要以字为单位显示高亮。如搜索“媒体”，摘要中所有的单独的“媒”和“体”都会高亮。搜索引擎中已经加入了中文分词后，不会出现Nutch-0.8.1中的高亮错误。但有时会出现返回的摘要中无关键字的错误。如搜索“东西”，会返回如下条目，题目和摘要中都没有出现“东西”。点击
nutch2二次开发笔记
蓝蓝lan的博客
08-02 2058
Nutch二次开发笔记,如何添加cookie,如何添加指定的url 1.Nutch介绍     Nutch 是一个开源Java 实现的爬虫框架和搜索引擎。有两个主版本1.x和2.x，它们的主要区别是1.x版本底层存储使用的是HDFS，2.x引入了Gora作为存储抽象层，从而支持各种NoSQL数据库，如HBase，Cassandra等,另外也支持mysql 2.Nutch安装问题       这里列出安装时候自身遇到的几个问题
Nutch开发中一些文章中不同的观点--搜索页面高亮关键字的修改
xiaomage_cn的专栏
07-13 944
在搜索一些文章中看到，nutch的高亮关键字的调整是通过修改源码来调整的，这一点是可以实现，但是比较麻烦，近段时间一直在研究Nutch，怕一些经验丢失了，就到这里来保存一下，一方面是为了温故而知新，另一方面可算是以抛砖引玉了吧。nutch搜索页面高亮关键字最简单的修改方法：找到webapps/nutch-1.1/include/style.html修改最下面的.highlight{  font-weight:bold;  color:#ff0000  } 追加上面加粗背景为红色这一行，颜色定义为红色保存后，
关于nutch1.0二次开发需要更改的东西
nutch_520的专栏
02-25 895
<br />二次开发的时候，需要重点对Nutch的界面及界面显示数据进行适当的调整。 <br /><br /> 目前据我了解到的要修改的地方有以下几点： <br /><br /> 1。搜索页面页头页尾log修改、选项卡乱码显示问题。 <br /> 2。显示查询结果行   添加查询用时 <br /> 3。查询结果摘要长度修改，默认只有20个字符。 <br /> 4。网页快照乱码修改，以及后面的(评分详解) (anchors) (more from news.qq.com)菜单项修改。 <
如何开发python爬虫
最新发布
09-23
总结来说，开发Python爬虫需要确定需求和目标、安装环境和依赖库、分析网站结构、编写爬虫代码、调试和测试、遵守规则和道德、定期维护和更新等步骤。熟悉并掌握这些步骤，可以帮助我们开发高效、可靠的Python爬虫。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值