oracle Text 全文检索功能对中文分词的支持情况

原创 2007年09月16日 19:06:00
下面例子在XE中测试通过。

准备工作:


CREATE   TABLE issues (
    ID         NUMBER,
    summary       VARCHAR(120),
    description   CLOB,
    author     VARCHAR(80),
    ot_version VARCHAR(10)
);


INSERT INTO issues
     VALUES (1, 'Jane', 'Text does not make tea',
             'Oracle Text is unable to make morning tea', 1);

INSERT INTO issues
     VALUES (2, 'John', 'It comes in the wrong color',
             'I want to have Text in pink', 1);

INSERT INTO issues
     VALUES (3, 'Mike', 'I come from china', '所以我讲中文', 1);
--下面两句话很难解析的
INSERT INTO issues
     VALUES (4, 'Mike', 'I come from china', '吉林省长春市的人民', 1);

INSERT INTO issues
     VALUES (5, 'Mike', 'I come from china',
             '我们要积极地主动作好计划生育工作', 1);

-- define datastore preference for issues

BEGIN
   --ctx_ddl.drop_preference ('issue_lexer');
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_LEXER');
END;
/

-- index issues 没有指定任何lexer
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT;

--进行查询
SELECT *
  FROM issues
 WHERE contains (author, '中文', 1) > 0;


会返回no rows selected。

说明:不使用lexer参数,oracle Text无法对中文进行有效检索。

接下来我们使用oracle和网上各位仁兄推荐的CHINESE_LEXER看看,执行下列语句:
DROP   INDEX issue_index;

-- index issues
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT
  PARAMETERS ('lexer issue_lexer');

SELECT *
  FROM issues
 WHERE contains (author, '中文', 1) > 0;


会返回一条记录。

再执行下列查询语句:
SELECT *
  FROM issues
 WHERE contains (author, '作好', 1) > 0;


SELECT *
  FROM issues
 WHERE contains (author, '吉林', 1) > 0;


都没有任何返回结果。

执行下列语句:
SELECT *
  FROM issues
 WHERE contains (author, '中文', 1) > 0;


有一个返回结果。

说明:CHINESE_LEXER对中文分词进行了优化,能够识别大部分中文单词,但是毕竟有很多单词难以区分。比如说,‘我们要积极地主动作好计划生育工作’被oracle 解释为:“我们要 积极 地主 动作 好  计划生育 工作”;'吉林省长春市的人民'解释为:“吉林省 长春市 的 人民”。不过效率方面自然很高。

再看看CHINESE_VGRAM_LEXER:
执行下列语句
BEGIN
   ctx_ddl.drop_preference ('issue_lexer');
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_VGRAM_LEXER');
END;
/

-- index issues 没有指定任何lexer
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT
  PARAMETERS ('lexer issue_lexer');


--进行查询
SELECT *
  FROM issues
 WHERE contains (author, '中文', 1) > 0;


SELECT *
  FROM issues
 WHERE contains (author, '作好', 1) > 0;


SELECT *
  FROM issues
 WHERE contains (author, '吉林', 1) > 0;

SELECT *
  FROM issues
 WHERE contains (author, '计划生育', 1) > 0;

SELECT *
  FROM issues
 WHERE contains (author, '地主', 1) > 0;


都有返回结果。

说明:CHINESE_VGRAM_LEXER使用的保守分词方法,不求有功但求无过。对所有的词都可以查询到。不过效率方面就有不足了。

所有的分词结果都可以在表DR$ISSUE_INDEX$I中看到。
例子中CHINESE_VGRAM_LEXER会创建39行数据,而CHINESE_LEXER只创建23行数据。



结论:oracle Text进行中文搜索必须指定lexer 参数。如果追求效率那么使用CHINESE_LEXER,如果追求准确度那么使用CHINESE_VGRAM_LEXER。



参考文章:
http://www.oracle.com/technology/global/cn/pub/articles/asplund-textsearch.html
http://www.vckbase.com/document/viewdoc/?id=1173
版权声明:本文为博主原创文章,未经博主允许不得转载。

Oracle ROWNUM用法和分页查询总结

分页查询格式1 在查询的最外层控制分页的最小值和最大值。查询语句如下: SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM TABL...
  • fw0124
  • fw0124
  • 2015年01月15日 13:56
  • 98584

数据库分词查询的优缺点以及英文和中文各自的分词方法(一)

1.为什么需要数据库分词查询  假设有一个数据库表,表中有一个title字段 table1 假如有300万的数据 id为主键,title也设置了索引 id ...
  • T1DMzks
  • T1DMzks
  • 2016年05月14日 00:39
  • 2823

easyui 分页功能展示

这是迎合公司需要做的分页功能,大部分代码已经提取到公共部分,只许调用即可。 一。上图 2.js代码 首先,设置datagrid是否显示分页控件 pagination:true; 然后,定义...

No module named 'MySQLdb'(第一次django下创建数据库迁移,报错)

运行环境:ubuntu14.04 python3.5.2 django1.8.17第一次django下创建数据库迁移 运行命令为:python manage.py makemigrations b...

oracle Text 全文检索功能对中文分词的支持情况

下面例子在XE中测试通过。 准备工作: CREATE   TABLE issues (     ID         NUMBER,     summary       VARCHAR...

Oracle模糊查询之(5.1认识全文索引之什么是分词[lexer])oracle Text 全文检索功能对中文分词的支持情况

http://hi.baidu.com/lewutian 下面例子在XE中测试通过。 准备工作: CREATE   TABLE issues (     ID         NUMBER,   ...
  • haiross
  • haiross
  • 2013年10月23日 17:00
  • 3046

全文检索lucene中文分词的一些总结

全文检索几乎是所有内容管理系统软件(CMS)必备的功能,在对公司的CMS产品的开发维护过程中,全文检索始终是客户重点关注的模块,为满足客户各式各样越来越高的要求,对全文检索曾做过一段时间相对深入的研究...

qt整合全文检索功能(1)中文分词以及获得词频

qt在新版本中整合了qtlucene的组件,单位的机器qt版本不够,也懒得升级。先看一下中文切分词部分。 目的:对文档进行中文切分,并根据词频高低排序。 选择LibMMSeg 作为切分词组...

全文检索、数据挖掘、推荐引擎系列3---全文内容推荐引擎之中文分词

基于内容的推荐引擎有两种实现途径,一种是根据条目的元数据(可以将元数据理解为属性),另一种是根据条目的文本描述信息。本系列中将先描述基于条目描述信息的全文检索实现方式,然后描述基于元数据的内容推荐引擎...

全文检索引擎Solr系列——整合中文分词组件IKAnalyzer

全文检索引擎Solr系列——整合中文分词组件IKAnalyzer
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:oracle Text 全文检索功能对中文分词的支持情况
举报原因:
原因补充:

(最多只允许输入30个字)