中文词典的扩充和组织

原贴：http://topic.csdn.net/t/20060904/22/4998344.html

中文词典的扩充和组织

楼主gdding（） 2006-09-04 22:21:44 在 专题开发/技术/项目 / 搜索引擎技术 提问

分词技术是

中文 信息处理中的关键技术之一，是信息检索、文本分类、文本聚类等各种文本处理技术的基础。目前中文分词算法逐渐趋于成熟，其分词准确率已基本能满足应用需求。  
            词典 在 分词技术中扮演着至关重要的角色。一方面，词典的规模（收录的词条数目）是影响分词准确率的一个重要因素。目前的词典规模都在10万个词条左右，只能满足 于一般的文本（如传统的新闻报道等）；随着Internet的广泛普及，日益增加的未登录词对分词技术是一个巨大的挑战，传统的中文词典已越来越难对付目 前对Internet文本的分词要求，因此扩充中文核心词典是一个十分有意义的事情。  
            我最近的一个工作就是新词检测，不寻求优美的检测算法，而只追求最终的 效果 。 通过对北大天网CWT100G数据集的统计分析，我已经抽取了近100万个新词（当然有一些噪音），其中根据我的评价方法得分最高的前10万条左右的新词 效果相当不错。感兴趣的同志请与我联系：gdding@hotmail.com。以下是其中的一部分新词（其中右列为评分值）：  
  保险公司                                                                                     102.1217630598  
  老夫                                                                                             101.4161935225  
  千万                                                                                             101.3831813758  
  玩家                                                                                             99.8747389063  
    网络 游戏                                                                                     99.2633686672  
  贝克汉姆                                                                                     98.6127246394  
  百万                                                                                             97.8989631474  
  萨达姆                                                                                         97.5115719667  
  律师事务所                                                                                 97.4145752689  
  信息技术                                                                                     96.6513122347  
  微软                                                                                             96.0803421691  
  姚明                                                                                             95.9885301657  
  新技术                                                                                         95.9283498033  
  帮主                                                                                             94.3097484228  
  化成                                                                                             94.2552672475  
  放入                                                                                             94.2174890261  
  闻言                                                                                             94.0920991382  
  短信                                                                                             94.0665508006  
  中国足球                                                                                     93.9756640568  
  航空公司                                                                                     93.3904036729  
  公司总经理                                                                                 93.3007389538  
  解决方案                                                                                     92.9160832220  
  主管部门                                                                                     92.8771068835  
  冷冷                                                                                             92.6888841223  
  管理部门                                                                                     92.6264385327  
  数百                                                                                             92.4165308552  
  系列产品                                                                                     92.4150737852  
  基础设施                                                                                     92.4018776391  
  管理系统                                                                                     92.3439132146  
  证券市场                                                                                     92.2664635335  
  点击                                                                                             92.2370180445  
  什麽                                                                                             91.9666818061  
  学家                                                                                             91.9266075102  
  中国市场                                                                                     91.7831884230  
  道长                                                                                             91.7680148179  
  新产品                                                                                         91.7312686223  
  万元                                                                                             91.6393529512  
  掌门                                                                                             91.5954090766  
  拉住                                                                                             91.4054745027  
  部份                                                                                             91.3910453982  
  剑法                                                                                             91.3175642456  
  抱住                                                                                             91.2809315778  
  小白                                                                                             91.0912774799  
  安全生产                                                                                     90.8164919757  
  高达                                                                                             90.8024993815  
  皇马                                                                                             90.6885143725  
  数码相机                                                                                     90.6165621700  
  证券公司                                                                                     90.5219773434  
  副主任                                                                                         90.3355731737  
  国际市场                                                                                     90.2767902975  
  信息系统                                                                                     90.2392757515  
  送回                                                                                             90.1219871204  
  金融机构                                                                                     90.1152273859  
  产品质量                                                                                     90.1095372176  
  环境保护                                                                                     89.8504855693  
  摇摇头                                                                                         89.8206738428  
  风险投资                                                                                     89.5960110694  
    经济 增 长                                                                                     89.5194082573  
  公安机关                                                                                     89.5085702094  
  领导干部                                                                                     89.4859910310  
  米卢                                                                                             89.4656572355  
  链接                                                                                             89.4646065803  
   
          词典在分词技术中扮演的重的角色还体现在，词典的存储组织方式是影响分词速度的关键因素，对于静态词典来说，采用双数组TRIE树来词典组织是非常不错的 选择，这种组织方式使得在查找词条时只需要作几次加法即可判断一个词条是否在词典中，因此查找速度极快，再加上词典的装载开销很小（只是读入数据而已）， 且很少占用内存，因此十分适合中文分词；本人最近的试验标明，基于双数组TRIE树来组织词典，最大匹配分词的速度可达52MB/秒（测试环境：CPU   P4   3.2G，内存512MB）。本人将在后续的文章中介绍这种词典组织方法，并将本人写的词典管理和最大匹配程序打包，供各位同仁共享。感兴趣的读者可与我 联系：gdding@hotmail.com。