数据库分词查询的优缺点以及英文和中文各自的分词方法(二)

英文分词方法概要:(具体代码以后会加敬请关注)

英文分词:英文分词是比较容易的,这是因为,英语单词与单词之间所使用的是空格,中文的分词,却需要很多的语法,还涉及到歧义。对于英文分词,我最近的研究如下:

假如有一个Table1表,里面包含一个主键ID字段,一个abstract字段,代表为摘要,其建立了主键,数据有100万条,如下所示

Table1

ID

abstract

1

Hello,my name is zhaikaishun,I come from guilin,guanxi

2

Yes,this is patent system

3

hust located in wuhan china

………

 

 

如果查询abstract中的某几个单词或者某一句话,直接用like %XXX%去查询,速度会很慢,所以,我们要分词

对于abstract的分词,如果是英文,我们的步骤如下:

将abstract中的内容,按照空格进行分词,得到每一个单词

对每一个单词进行一定得处理,比如,全部变成小写的形式,去掉特殊符号,去掉一些经常用到的词语,比如is,are,you ,me,and等,将复数之类的改为单数等,其频率这里我也先补设置(因为查询的时候也会将查询的内容进行这样的变化,所以不需要担心)

如果该单词与数据库中的做index_keyword的表中没有,就将这个单词加入到该表中去

将该单词与ID与其所在的keyword_id的关系保存到search_keyworld_a或者search_keyworld_b……………..直到search_keyworld_z中去,具体存到哪个地方,还得看第一个字母是什么了(其实在现实开发中,我们都是根据单词的第一个字母的ASCII码去分的,分为search_keyworld0~search_keyworld9,或者用十六进制,分词16个,这样,表会少一些,管理起来也方便一些),其权重我就先不设置了,现在假设我只对ID为1的abstract 中的内容进行分词,将会得到如下的表

Index_keyword表,keyword_id为主键,自增,keyword创建索引

Keyword_id

keyword

frequence

1

hello

0(注:这我暂时用不上)

2

name

0

3

zhaikaishun

0

4

come

0

5

from

0

6

guilin

0

7

guangxi

0

……………………..

………………………

……………….

 

Search_keyword_h表, ID,keyword_id创建索引

ID

Keyword_id

weight

1

1

 

 

Search_keyword_n表 ID,keyword_id创建索引

ID

Keyword_id

weight

1

2

 

Search_keyword_z表

ID

Keyword_id

weight

1

3

 

 

Search_keyword_c表 ID,keyword_id创建索引

ID

Keyword_id

weight

1

4

 

 

Search_keyword_f表 ID,keyword_id创建索引

ID

Keyword_id

weight

1

5

 

 

Search_keyword_g表 ID,keyword_id创建索引

ID

Keyword_id

weight

1

6

 

1

7

 

 

 

这样,我们的英文分词就成功了,加入我们要查abstract中包含有name的单词的ID,这时候,我们先对name的一些简单处理,比如变成小写,去掉一些特殊符号,前后空格之类的,我们先去查Table1 abstract 中是否有等于name的,这里明显没有,这时候,我们就会去Index_keyword表中去找到name所对应的keyword_id,这里,我们找到所对应的keyword_id为2,name的第一个字母又为n,所以,我们去Search_keyword_n里面去找keyword_id=2所对应的ID,这里找到对应的ID为1,好,这时,我们再去table1中去寻找ID=1的这一条数据,这样,我们就找到了这一条数据 以上便是英文分词。英文的分词算法,我们可以自己写,难度不是很大,也可以使用网上的比较流行的分词算法,基于Lucene的英文分词,具体方法下回分解
发布了137 篇原创文章 · 获赞 210 · 访问量 58万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览