原创 给lemur加中文分词续

上次写的博客中提到了给lemur加入中文分词的一种办法，但是现在经过测试发现那种办法有个缺点，就是说对于想使用field 的用户来说会出现问题，如果采用我上次说的办法，在用field建立好的索引就会出现丢失一些field中的词的情况，比如隊于这样的文档：          1                     小黑             我热爱我的祖国，我热爱我的家！     

原创 给lemur加中文分词

      回到学校读研以后，前半年的生活比较堕落，所以没有什么可以在这个博客上写的，这学期突然醒悟，最近在弄lemur来给问答作支撑，中国人的话没有空格分词，所以所有老外的开源系统拿到中国来使用，第一件事情一般都是给它加个中文分词。      我们先说一下lemur和lucene这两个东西，个人对lucene比较熟悉，对lemur现在也有一点了解，对他们评价如下： lemur中的检

转载 使用代理模式让程序使用动态的java代码

使用代理模式让应用程序使用动态java代码 by lostfire 如果我们把一个JSP文件发布到Tomcat里边，JSP是可以动态改变得，也就是说随着这个JSP文件的改变，通过浏览器访问，可以获得不同的结果。然而有没有想过能够让java代码像jsp那样动态的改变？实际上通过java的反射机制和内建的代理模式，完全可以做到这一点。下面就一步一步的说一下这是如何实现的。1，准备知识

转载 gfs(google file system)

原文出处：http://www.fulin.org/blog/2007/02/05/google-file-system/关于：The Google File SystemSanjay Ghemawat, Howard Gobioff, and Shun-Tak LeungGoogle?{sanjay,hgobioff,shuntak}@google.com排版文件参考： http://w

原创 nutch-0.9使用手记

 前两天试用了nutch目前的最新版本。这个版本是完全建立在hadoop基础上的，也就是一个分布式的系统。下载以后一看代码，目前的代码和我去年看的Nutch-0.7.2的代码已经有本质的变化了，再看不到我熟悉的代码了！去网上搜索了一下，发现了一篇很好的知道文档，这个给出链接地址http://wiki.apache.org/nutch/NutchHadoopTutorial按照这个上面的

原创 最近发现的几个bug

        最近一直在对nutch进行一定的修改，以满足目前实习基地的需求，但是最近发现了几个存在的bug,鉴于时间关系，目前不能去从根本上解决，等忙完这段，自己的知识再丰富丰富，去试着看看能不能从根本上解决；   当调用standard analyzer进行切词处理的时候，发现对于类型的token识别的不好，比如对“http://www.sohu.com/aaa/123ee

原创 2006年的最后一天

原创 海阔天空

今天偶然听到这个歌曲,感觉歌词写的很好,而且阿信的唱功实在是好,听起来很爽;我很喜欢听这种让你有一种沧桑感,并且让你有奋发向上动力的歌,比如beyond的 我曾怀疑我走在沙漠中从不结果无论种什么梦才张开翅膀风却便沉默习惯伤痛能不能算收获庆幸的是我一直没回头终于发现真的是有绿洲每把汗流了生命变的厚重走出沮丧才看见新宇宙海阔天空在勇敢以后要拿执着将命运的锁打破冷漠的人谢谢你们曾经看轻我让我

转载 《社会契约论》读后感

 让•雅克•卢梭（1712-1778）是18世纪法国杰出的启蒙思想家、古典自然法学派中最激进的民主主义者。他的法律思想在西方法律思想史上占有十分重要的地位。他信奉天赋人权说，认为人类最初处于“自然状态”时人人是自由平等的，这是天赋的权利，只有私有财产的确立才导致不平等的产生。作为他的著作之一的《社会契约论》发表于1962年，是卢梭政治法律思想的比较全面的概括。 在本书中，卢梭以社会契约为基础的

转载 java的HashSet

Java中对HashMap的深度分析与比较作者：山哥 更新时间：2005-04-07        在Java的世界里，无论类还是各种数据，其结构的处理是整个程序的逻辑以及性能的关键。由于本人接触了一个有关性能与逻辑同时并存的问题，于是就开始研究这方面的问题。找遍了大大小小的论坛，也把《Java 虚拟机规范》，《apress,.java.collections.(2001),.bm.ocr

转载 用joone来快速建立神经网络系统

用joone来快速建立神经网络系统简介很少有程序员不对这里或者那里所包含的人工智能编程所吸引，然而，许多对AI感兴趣的程序员很快就因其中包含的算法的复杂性而退却。在本文中，我们将讨论一个能大大简化这种复杂性的Java开源工程。Java面向对象的神经网络(JOONE)是一开源工程，它提供给Java程序员一个高适应性的神经网络。该JOONE工程源代码由LGPL所保护。简言之，这意味着源代码是可

转载 JNI处理中文的编码转换问题

 几个概念首先要明确： java内部是使用16bit的unicode编码（UTF-16）来表示字符串的，无论中文英文都是2字节； jni内部是使用UTF-8编码来表示字符串的，UTF-8是变长编码的unicode，一般ascii字符是1字节，中文是3字节； c/c++使用的是原始数据，ascii就是一个字节了，中文一般是GB2312编码，用两个字节来表示一

转载 转载（爆笑）国产电视剧的电脑高手

转载（爆笑）国产电视剧的电脑高手 有一集那个白痴女主角叫刘滋来帮她打开她男友设计的游戏（因为据说游戏形象是以她为原形的），过程如下 : 　　1. 刘滋走到电脑前按了一下显示器开关（键盘鼠标都没碰）电脑传出一声提示音效（靠，好人性化的电脑啊） 　　2. 刘滋双手狂敲键盘号称在打开程序（如果她是键盘快捷键高手我也没的说了） 　　3. 出现一个好象是网络游戏的画面 　　4. 忽然游戏画面出来了，是DOA

原创 如何用Class.forName方法动态加载构造方法带参数的类

　　 在用Class.forName方法动态加载构造方法带参数的类时,为了将参数传递进去,可以考虑java的反射机制，比如有一个类如下:        public class Cat{                    private int age;                    private String name;                    pub

转载 计算机启动详解

打开电源启动机器几乎是电脑爱好者每天必做的事情，面对屏幕上出现的一幅幅启动画面，我们一点儿也不会感到陌生，但是，计算机在显示这些启动画面时都做了些什么工作呢？相信有的朋友还不是很清楚，本文就来介绍一下从打开电源到出现Windows的蓝天白云时，计算机到底都干了些什么事情。  　　首先让我们来了解一些基本概念。第一个是大家非常熟悉的BIOS（基本输入输出系统），BIOS是直接与硬件打交道的底层代码，

原创 Lucene中Token类的positionIncrement字段取不同值的作用

 这个字段决定当前token相对于上一个token的位置(当前token的位置就是上一个token位置的值与positionIncrement的值的和),它的作用主要体现在短语查询(phrase search)中.一般它的默认值是1.但是可以把它设置为0或者大于1的值,起作用分别如下:1.      当设置为0的时候是一个词有多个词干的情况下(这里指英文).短语查询对短语中的两个词之间

转载 狂人日记

狂人日记原文    某君昆仲，今隐其名，皆余昔日在中学时良友；分隔多年，消息渐阙。日前偶闻其一大病；适归故乡，迂道往访，则仅晤一人，言病者其弟也。劳君远道来视，然已早愈，赴某地候补⑵矣。因大笑，出示日记二册，谓可见当日病状，不妨献诸旧友。持归阅一过，知所患盖“迫害狂”之类。语颇错杂无伦次，又多荒唐之言；亦不著月日，惟墨色字体不一，知非一时所书。间亦有略具联络者，今撮录一篇，以供医家研究。记

转载 什么是Robots META标签

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类似（见黑体部分）：html>时代营销--网络营销专业门户html; char

原创 一个后项最大匹配分词

 最近写了一个后项最大匹配的分词,其中构件词表的过程是参考了网上的一个已经有了的分词程序;代码如下:(其中有两个词表文件interpunction.txt和simplexu8.txt,其中前者是用来定义过滤其中的一些特殊符号,后者是词表文件)import java.io.BufferedReader;import java.io.IOException;import java.io.Inp

转载 RedHat Linux操作系统配置技巧方案

　　随着Linux在我国的持续升温，想学习它的人也越来越多。但是绝大多数的人早已习惯了傻瓜式操作的Windows，要他们一下子就适应Linux的操作，确实有很大的困难。特别是无数的Linux命令，对于那些连DOS都没有接触过的人来说，实在是不可忍受，这就为Linux在我国的推广带来了很大的局限性。因此在绝大多数情况下，Linux都是以一种高端操作系统的姿态出现在我们面前。好在近几年我国政府的大力支

转载 从我们学院论坛上转过来的帖子

最近在做一个汽车销售系统的改善工作， 这个系统已经运行两年了， 两年来， 客户不断 的提出新需求， 系统也在不断的改来改去。 这次轮到我来改它了。  想想N年前初学编程 的时候， 书上， 网上， 杂志上不断的在说， 要养成良好的编程习惯。 然后还给出了N 长的一大篇文章来介绍一些编程规范。 我这个人是很懒的， 大概的看了一下就过去了。  没有特意的记什么。  好在我这个人也不是特别的懒， 对自己的

转载 java内部类的作用分析

  浅析Java语言中的内部类 作者：morgan83    来自：csdn 　　提起Java内部类（Inner Class）可能很多人不太熟悉，实际上类似的

原创 nutch爬虫之UpdateSegmentsFromDb类的作用

在nutch的爬虫运行过程中有这样的一个调用（在CrawlTool中）：// update segments from db      　　UpdateSegmentsFromDb updater =          　　new UpdateSegmentsFromDb(nfs, db, segments, dir);      　　updater.run();正如注释所说，

原创 Comparator接口的使用

comparator可以被看成一种算法的实现（你在实现这个接口的时候，自己定义你自己的排序算法），在需要容器集合collection需要比较功能的时候，来指定这个比较器，这可以看出一种设计模式，将算法和数据分离 ；一般它的作用有两个：1. 如果类的设计师没有考虑到Compare的问题而没有实现Comparable接口，可以通过comparator来实现比较算法进行排序2. 为了使用不同的排序标

原创 如何在改变类的名字后不影响引用它的类(不需要重新编译引用它的类)

个人认为以下两种方法比较可行：方法１：今天看nutch的源代码，发现了其中一个很重要的技巧，就是如何在改变一个类的名字的前提下不去影响引用它的类，即在不需要重新编译那些引用他的类的前提下而使得程序可以正常运行！　　具体做法是，我们可以引入一个中间类，这个类的作用类似于一个中介，这个类中存在两个map对象，他们的作用是提供一个名字到具体类的名字的映射，具体代码如下：　private st