Nutch-1.2添加中文分词ICTCLAS以及常见问题解答

本文以windows系统为例

工具准备tomcat、eclipse、javac、ant、cgywin、Nutch-1.2、（NLPIR.dll、Data文件夹）---ICTCLAS中的文件

本文详细介绍Nutch-1.2中文分词在三个平台中的应用——Eclipse、Cygwin、tomcat

ok   now begin。。。。。

1、Eclipse平台

     首先请参照网络资料将Nutch-1.2中代码放入一个新建的java project。好了，假设你已经成功导入源代码，那么现在我们就来添加ICTCLAS。下图为nutch-1.2添加了ICTCLAS后的工程目录，共下文分析参考。

    

      step 1: 将NLPIR.dll和data文件夹方法java工程根目录，新建一个类加载dll文件（加载方法请查找相关网络资料）

        

      step 2：修改nutch代码

                   /src/java/org/apache/nutch/analysis下的 NutchAnalysis.jj

                    | <SIGRAM: (<CJK>)+ > //修改后的部分，源文件为   | <SIGRAM: <CJK> >
                  让他支持中文分词

      step 3：使用 javacc 编译，生成代码

                  javacc  NutchAnalysis.jj,生成7个java文件，覆盖原始文件

      step 4: 修改NutchDocumentTokenizer.java 中的代码

                

 private static Reader myreader = null;

  public NutchDocumentTokenizer(Reader reader) {
    super(process(reader));
    tokenManager = new NutchAnalysisTokenManager(myreader);
    this.termAtt = addAttribute(TermAttribute.class);
    this.offsetAtt = addAttribute(OffsetAttribute.class);
    this.posIncrAtt = addAttribute(PositionIncrementAttribute.class);
    this.typeAtt = addAttribute(TypeAttribute.class);
  }

  public static Reader process(Reader reader){
   BufferedReader in = new BufferedReader(reader);
   String line="";
   String temp=null;
   try{
    while((temp =in.readLine())!=null){
    line += temp.replaceAll("/", "");
    System.out.println(line);
    }
   }catch(Exception e){
    System.out.println(e);
   }
   try{
   if(line!=null && !line.equals("")){
	   NlpirMethod.Nlpir_init();
	   line=NlpirMethod.NLPIR_ParagraphProcess(line, 0);
      myreader = new StringReader(line);
   }
   }catch(Exception e){
    }
   return myreader;
  }

     根据编译器提示修改一些捕获异常的代码。

      step 5：以上修改完成以后nutch就应该能支持中文分词了。测试一下：

                  执行org.apache.nutch.analysis.NutchAnalysis测试一下分词效果，如下

         输入：

                   

         结果：

                   

      step 6：爬虫简历索引

                  如何修改nutch配置文件进行爬虫请参考其他网络资料

                 运行NutchBean.java,其中参数配置如图所示：

              

              参数具体的含义相信大家都应该懂，这里不再赘述。执行结果会形成一个爬虫文件夹，文件夹结构如图所示：

             

              各个文件的含义请查看相关文章。

2、cgywin平台

      在cgywin中运行其实本质和eclipse中一样，将上面改好的文件复制和替换进入nutch目录文件夹下，运用ant工具将改好的代码编译即可。

      调出windows命令窗口，CMD进入命令界面，cd 进入nutch-1.2文件目录，输入ant命令即可形成3个文件（build文件夹下）——nutch-1.2.jar、nutch-1.2.job、nutch-1.2.war,将前两者替换nutch中原有文件，nutch-1.2.war用于tomcat。

     

     

      这里面在进行ant编译时可会会出现报错，应该会有一个ParseException的错误，按照提示修改即可。

     在进行cgywin命令时可能你会发现无法输入和显示中文，具体办法请看我的另一篇文章《cgywin下中文输入和显示》。

3、tomcat平台

      将上面形成的nutch-1.2.war放入tomcat》webapps目录下，将data和NLPIR.dll放入tomcat根目录下（这里为什么放入这里而不是工程web-inf中还请大神指点）

    

       可能会有问题，在搜索框中输入”中国“时，跳转页面时空页面，查看日志文件显示java.lang.StringIndexOutOfBoundsException: String index out of range: 解决办法如下：

      

在tomcat中部署的nutch目录下进入WEB-INF\classes

找到nutch-site.xml  在这里添加如下代码即http://www.nlpir.org/可。

<property>
  <name>plugin.includes</name>
  <value>protocol-http|urlfilter-regex|parse-(text|html|js)|analysis-(zh)|index-basic|query-(basic|site|url)|summary-lucene|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
</property>

 

ok  这样基本就配置完了。。。。。上面有些地方说的比较粗略，可能也有些错误，没明白的地方欢迎留言，错误的地方欢迎指正。

转载请注明出处。

相关链接:http://www.nlpir.org /      可在这里下载最新ICTCLAS