南华大学计算机学院龚向坚,基于混合模拟退火-遗传算法和HMM的Web挖掘

隐马尔可夫模型训练算法是一种局部搜索算法,对初值敏感。传统方法采用随机参数训练隐马尔可夫模型时常陷入局部最优,应用于Web挖掘效果不佳。遗传算法具有较强的全局搜索能力,但容易早熟、收敛慢,模拟退火算法具有较强的局部寻优能力,但会随机漫游,全局搜索能力欠缺。综合考虑遗传算法和模拟退火算法的特点,提出混合模拟退火-遗传算法SGA,优化HMM初始参数,弥补Baum-Welch算法对初

第2 2卷第 3期 2 1 3月 02年

计算机技术与发展

C MP T R T C O OG D DE E O ME T O U E HN L Y AN V L P N E

V0 _ 2 No 3 l2 . Ma . 2 1 r 02

基于混合模拟退火一传算法和遗 HMM的 We b挖掘

邹腊梅，龚向坚

(南华大学计算机科学与技术学院，南衡阳 4 10 )湖 20 1

摘要：隐马尔可夫模型训练算法是一种局部搜索算法，对初值敏感。传统方法采用随机参数训练隐马尔可夫模型时常

陷入局部最优，用于 We应 b挖掘效果不佳。遗传算法具有较强的全局搜索能力，易早熟、慢，退火算法具有但容收敛模拟较强的局部寻优能力，会随机漫游，搜索能力欠缺。综合考虑遗传算法和模拟退火算法的特点，出混合模拟退火但全局提

一

遗传算法 S A优化 H G, MM初始参数，弥补 Bu We h算法对初始参数敏感的缺陷， b挖掘的实验结果表明五个域提 am— l c We

取的 R C和 P E都有明显的提高。 E R 关键词：退火算法；模拟遗传算法；隐马尔可夫模型； b掘 We挖

中图分类号：P9 T 31文献标识码： A文章编号： 7— 2X(0 2 0— 16 0 1 3 69 2 1 )3 00—4 6

W e i i s d n H y rd Si u a e Ann a i g b M n ng Ba e o b i m l td e ln

Ge e i g rt m n n t Al o i c h a d HM M

Z U L - iG N Xi g j n O a me, O G a -i n a

( co l f o ue c neadT c nlg, iesyo o t hn, n y g 2 0 1 C n ) Sh o mp t S i c n eh ooy Un rt fS u C iaHeg a 10,h a oC r e v i h n 4 i

Ab t a t Th r i i g a g rt m i h i s d t r i i g HMM s a s b—o t l ag r h a d s n i v o i i a a a tr . p c l sr c: e t n n l o i a h wh c su e o tan n i u p i l o t m n e st e t n tl p r me e s Ty i a ma i i i h d e a k v mo e fe e d o s b p i l e a n n twi a d

m a a ee s I e e tv e n n e f r to i d n M r o d lot n la st u -o tma wh n t ii g i t r n o p r r h m tr . ti i f ci ewh n mi i g W b i o ma i n sn n

wi tpc m y ia HM l

. GA a ee cle ta mt fgo l e rhn dh sted fc fso c n eg n ert . A a ee cle tai— h st x eln b yo lba ac iga a ee t lw o v re c ae S h st x eln bl h s n h o h

i o a erhn dh sted fc frn o yr a n . o ie h d na e fg n t loih a dsmuae n aig a- t o lc sac ig a a eeto d ml o mig I c mbn s ea vatg so e ei ag r m n i ltda e l yf l n h a t t c t n n l

grh,rp ss y r i le naiggnt lo tm( GA) S A co ssh et G aa trb x e met n pi - oi m pooe b ds a da el ee c gr t h i mu t n n ia i h S . G h oe ebs S A prmee yepr n do t t s i a mi

Z SHMM o iig Ba m - ec u igteC U eo e nn Th x e me tlrs sso ta eS e c mbnn u W lhd rn O r fW bmiig. ee p r na et h w t t GA infcnt mp o e h s i e h h sg i a l i r v s i y

t ef r a c n p e ii n a d r c l. he p ro n ei r cso n e a1 m Ke r s: i ltd a n ai g ag rt m; e e c ag r m; i d n M a k v mo e; e n n y wo d smu ae e l l o i n n h g n t lo t i i h h d e r o d l W b mi i g

O引言

随着互联网的发展进入 We2 0时代， b已经 b. We成为信息制造、布、发加工和处理的主要平台，越来越多的人参与到互联网的建设中来， b上的数据每年 We呈指数级增长，面临这个

巨型的数据资源库，人们却常

联网中大部分信息是未经处理的文本数据，运用 H M M 进行 We b挖掘是一种基于统计学习的方法。因为是

利用未标记数据训练 H MM,一般是随机设定 H M初 M

始参数，因此 H MM的初始参数具有不确定性，而隐马尔可夫模型的常用训练算法 B u We h是一种局部 am— l c搜索算法，对模型的初值非常敏感，导致隐马尔可夫模型的训练常常陷入局部极值而得不到最佳模型。遗传

常陷入“据丰富，息贫乏”数信的困境，们急切需求人能快速、准确从这些网络资源中找出自己需要信息的方法，近年兴起并迅速发展的 We数据挖掘技术给人 b们带来了希望。隐马尔可夫模型 ( i e a o d Hd nM r vMo- d k e, MM) we据挖掘的一种重要方法 3o互 lH是 b数 -1

算法是一种被实践证明有效的优化算法，它模拟达尔文的遗传选择和自然淘汰的生物进化过程，具有强大

的全局搜索能力，但也有容易早熟收敛、后期搜索效率

低的缺陷。模拟退火算法也是常用的优化算法，它模

收稿日期：0 1 0— 6修回日期：0 1 1 - 8 2 1— 7 2; 2 1 - 0 2

拟热力学中的物理淬火过程，方面以一定的概率接一受目标函数劣化，一方面向目标函数优化的方向迭代，

基金项目：省教育科研基金资助项目( 0 l7 )湖南省教育科湖南 1C 6; 1研 2 1基金资助项目 01 作者简介：腊梅(9 7 )女，邹 17一，讲师，硕士，究方向为计算机网络、研 数据挖掘、信息检索。

因此能跳出局部最优点，来确保获取全局最优解，但该

算法收敛速度慢，具有随机漫游的缺点。因此文中充分考虑两种优化算法各自的特点，将模拟退火算