Beam Search 简介

原创 2016年06月01日 11:41:18

概要

传统的广度优先策略能够找到最优的路径,但是在搜索空间非常大的情况下,内存占用是指数级增长,很容易造成内存溢出,因此提出了beam search的算法。
beam search尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝)达到减少内存消耗的目的。

Beam Search算法

新的概念

  1. 为了达到搜索的目的,beam search 引入了启发函数的概念(h) 来估计从当前节点到目标节点的损失。
    启发函数可以使搜索算法只保存能够到达目标节点的节点
  2. beam width B每一层(each level)广度优先搜索算法保存的节点数目。
    可以防止程序内存溢出,并加快搜索速度。
  3. BEAM 作用类似于open list,用于保存下一轮扩展的节点
  4. SET 保存BEAM中的所有的后续节点,是启发函数的输入空间。
  5. a hash table 作用类似于close list,用于保存所有已经访问过的节点

算法流程

  1. 将开始节点(start)增加到BEAM和hash table
  2. 循环遍历BEAM的所有后续节点增加到SET中,并清空BEAM
  3. 从SET中选择B个启发函数值最优的节点增加到BEAM及hash table中(已经存在hash table中的节点不能增加)
  4. 以上过程循环持续进行指导找到目标节点或hash table 满了或主循环结束后BEAM为空(没有找到解)

伪代码

/* initialization */
g = 0;
hash_table = { start };
BEAM = { start };

/* main loop */
while(BEAM ≠ ∅){                             // loop until the BEAM contains no nodes
  SET = ∅;                                   // the empty set

  /* generate the SET nodes */
  for(each state in BEAM){
    for(each successor of state){
      if(successor == goal) return g + 1;
      SET = SET ∪ { successor };             // add successor to SET
    }
  }

  BEAM = ∅;                                  // the empty set
  g = g + 1;

  /* fill the BEAM for the next loop */
  while((SET ≠ ∅) AND (B > |BEAM|)){         // set is not empty and the number of nodes in BEAM is less than B
    state = successor in SET with smallest h value;
    SET = SET \ { state };                   // remove state from SET
    if(state ∉ hash_table){                  // state is not in the hash_table
      if(hash_table is full) return ∞;
      hash_table = hash_table ∪ { state };   // add state to hash_table
      BEAM = BEAM ∪ { state };               // add state to BEAM
    }
  }
}

// goal was not found, and BEAM is empty - Beam Search failed to find the goal
return ∞;

beam search example

说明

一下样例都是用两行代表一次主循环执行过程。
两行中的第一行显示增加到SET中的nodes(字母顺序)
第二行显示的是从SET中增加到BEAM中的节点
两行后都有一个hash table显示其状态(hash table 只有7slots,表示可用内存的大小)
以下每一个例子对B取不同的值,并且只展示了四步,用来展示beam search的优势跟不足
beamsearch 目标是从I-> B

搜索的图

pic

exmple 1 B = 1,展示Beam search 的不足,找不到解

loop number SET,BEAM hash table
BEAM={I} hash table={I}
1 SET={G,J,E,H} hashtable={I}
1 BEAM={G} hash table={I,G}
2 SET={D,G,I} hashtable={I,G}
2 BEAM={D} hash table={I,D,G}
3 SET={G} hashtable={I,D,G}
3 BEAM={} hash table={I,D,G}

此时BEAM 为空,导致搜索失败。
因此B的选择非常重要。

exmple 2 B = 2 搜索到非最优值

loop number SET,BEAM hash table
BEAM={I} hash_table = { , I(null), , , , , }
1 SET={G(I), J(I), E(I), H(I)} hash_table = { , I(null), , , , , }
1 BEAM={ G(I), J(I) } hash_table = { , I(null), J(I), , , , G(I) }
2 SET={A(J), D(G), G(J), J(G), E(J), I(G)} hash_table = { , I(null), J(I), , , , G(I) }
2 BEAM={A(J), D(G)} hash_table = { A(J), I(null), J(I), D(G), , , G(I) }
3 SET={C(A), G(D), J(A)} hash_table = { A(J), I(null), J(I), D(G), , , G(I) }
3 BEAM={C(A)} hash_table = { A(J), I(null), J(I), D(G), C(A), _, G(I) }
4 SET = { B(C) [goal found - algorithm returns], A(C) } hash_table = { A(J), I(null), J(I), D(G), C(A), _, G(I) }

此例中 beam search 搜索到了一个路径:IJACB,但不是最优解(IECB)
展示了并不是每次循环BEAM都能被填充满(step 3)

exmple 3 B = 3,找到最优值,并且内存没有溢出

loop number SET,BEAM hash table
BEAM={I} hash_table = { , I(null), , , , , }
1 SET={G(I), J(I), E(I), H(I)} hash_table = { , I(null), , , , , }
1 BEAM = { G(I), J(I), E(I) } hash_table = { , I(null), J(I), , E(I), _, G(I) }
2 SET = { A(J), C(E), D(G), F(E), G(J), J(E), E(J), H(E), I(E) } hash_table = { , I(null), J(I), , E(I), _, G(I) }
2 BEAM = { A(J), C(E), D(G) } hash_table = { A(J), I(null), J(I), C(E), E(I), D(G), G(I) }
3 SET = { B(C) [goal found - algorithm returns], A(C), C(A), J(A) } hash_table = { A(J), I(null), J(I), C(E), E(I), D(G), G(I) }

B=3 beam search可以找到最优值,但是当B更大时,会造成可用内存溢出(hash table 溢出)

exmple 4 B = 4 内存占用过多

loop number SET,BEAM hash table
BEAM={I} hash_table = { , I(null), , , , , }
1 SET={G(I), J(I), E(I), H(I)} hash_table = { , I(null), , , , , }
1 BEAM = { G(I), J(I), E(I), H(I) } hash_table = { H(I), I(null), J(I), , E(I), , G(I) }
2 SET = { A(J), C(E), D(G), F(E), G(J), J(E), E(H), H(E), I(E) } hash_table = { H(I), I(null), J(I), , E(I), , G(I) }
2 BEAM = { A(J), C(E), D(G) [not enough memory - algorithm returns] } hash_table = { H(I), I(null), J(I), A(J), E(I), C(E), G(I) }

第二步时造成内存溢出,搜索失败。

参考资料

http://jhave.org/algorithms/graphs/beamsearch/beamsearch.shtml

Beam搜素算法

Beam搜素算法的伪代码(Beam Search Algorithm) Beam算法是干什么的?他是搜索算法。大家知道,搜索算法可谓万能算法,问题只要有解,使用搜索算法在问题的解空间中搜索解,总可以...
  • nwpulei
  • nwpulei
  • 2012年10月31日 19:43
  • 11236

一些重要的算法------启发式搜索,束搜索(beam search),二分查找算法 and so on............

转自:http://coolshell.cn/articles/2583.html 下面是一些比较重要的算法,原文罗列了32个,但我觉得有很多是数论里的,和计算机的不相干,所以没有选取。下面...

Beam Search 基础知识-广度优先及深度优先搜索

概要介绍了深度优先和广度优先的搜索方法基本概念open 表 保存未访问过的路径 close 表 保存访问过的路径,防止进入一个死循环。具体算法从某一个开始节点访问所有的可到达的顶点在很多场景下非常有...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

beam search

Artificial Intelligence/Search/Heuristic search/Beam search Artificial Intelligence‎ | Search ...
  • pi9nc
  • pi9nc
  • 2013年06月10日 15:54
  • 4373

束搜索算法(Andrew Jungwirth 初稿)BEAM Search

·最近搜了几篇束搜索的文章,这篇最直白易懂,并有示例的详细步骤图解,比维基百科的更为合适,因此拿在这里,供参考。 原文链接:Beam Search Algorithm (Draft by Andrew...
  • girlhpp
  • girlhpp
  • 2014年02月20日 11:04
  • 3637

文字检测与识别4-过分割和beam search

前面的章节已经介绍了提取文本行的方法。本文主要介绍传统的依赖over segmentation过分割,beam search和字符分类器的识别方法。主要参考文献[1]和opencv contrib...

Beam search

Beam searchFrom Wikipedia, the free encyclopediaGraph and tree search algorithmsSearchAlpha-beta pru...

Beam Search(集束搜索/束搜索)

Beam Search(集束搜索/束搜索) 找遍百度也没有找到关于Beam Search的详细解释,只有一些比较泛泛的讲解,于是有了这篇博文。 首先给出wiki地址:http://en.wik...
  • AMDS123
  • AMDS123
  • 2017年06月13日 16:53
  • 571

维特比算法以及解码时的beamSearch

维特比算法输入序列为词,输出序列为POS,采用HMM为例介绍维特比算法 这里HMM假设当前的输出只和上一时刻的输出状态相关。 迭代公式如下: π(t,i,j)=max(π(t−1,i)×q...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Beam Search 简介
举报原因:
原因补充:

(最多只允许输入30个字)