NLP基础学习笔记1-基于DFS搜索和规则的句子生成模型

NLP自然语言处理经过了多年的发展，现在主流是采用机器学习和深度学习的方法进行NLP问题的解决，但是历史上，在机器学习还没有提出前，科学家还想出了很多解决自然语言问题的方法。可以基于搜索的方法去解决问题，其中一种就是基于规则的方法，这次学习老师采用了基于规则的方法解决句子生成的问题，下面对基于规则的方法进行总结。

待解决的问题，我们想生成一些合法的句子，生成句子由一个名词短语noun_phrase和动词短语verb_phrase组成，其具体的规则定义如下，其中规则部分的空格表示把两个部分合为一个，|号表示选择随机其中的某一个

grammar = “

sentence=>noun_phrase verb_phrase

noun_phrase=>Article Adj* noun

verb_phrase=>verb noun_phrase

Adj*=>null | Adj Adj*

Article=>一个 | 这个

noun=>女人 | 篮球 | 桌子 | 小猫

verb=>看着 | 坐在 | 听着 | 看见

Adj=>蓝色的 | 好看的 | 小小的

”

用python实现，最容易想到的实现方法就是把sentence，noun_phrase，verb_phrase，Adj*，Adj，noun，verb都封装为函数，然后通过解析grammar提取出关键字来，然后实现一系列的switch case或者if else，通过不同的关键字调用不同的函数实现具体功能。这样的实现有两个弊端，第一个是假如我们需要新增一个语法，那么必须新封装一个函数，然后在switch case中添加一个新的分支；第二个是若语法复杂后，必然导致过高的代码圈复杂度。

我们可以将语法解析流程画成树状图，如下所示，其实整个语法解析流程就是一个树搜索的过程，每个语法解析到每个父子节点可能有两种策略，一种就是将所有子节点的结果组合起来，另一种就是随机选取一种子节点的结果

看着上面的树形结构，可以想到使用BFS搜索的方法去实现树形结构的搜索，一次搜索结果就是一次语法解析的结果，这个DFS搜索和传统DFS搜索的唯一区别就是有些树形节点的子节点需要随机选择，所以并不是每个子节点都会被遍历到。

import random

grammar = """

sentence=>noun_phrase+verb_phrase

noun_phrase=>Article+Adj*+noun

verb_phrase=>verb+noun_phrase

Adj*=>null | Adj+Adj*

Article=>一个 | 这个

noun=>女人 | 篮球 | 桌子 | 小猫

verb=>看着 | 坐在 | 听着 | 看见

Adj=>蓝色的 | 好看的 | 小小的

"""
def create_grammar(grammar_str, split='=>', line_split='\n'):
    grammar = {}
    for line in grammar_str.split(line_split):
        if not line.strip(): 
            continue
        expression, statement = line.split(split)
        grammar[expression.strip()] = [s.strip() for s in statement.split('|')]
    return grammar

choice = random.choice

def generate(gram, target):
    """采用递归实现深度优先搜索"""
    if target not in gram:
        return target # means target is a terminal expression
    expaned = [generate(gram, t) for t in choice(gram[target])]
    return ''.join([e for e in expaned if e != 'null'])

grammar = create_grammar(grammar)

generate(gram=grammar, target='sentence')

生成结果为

'一个篮球坐在这个好看的小猫'

上述的朴素方法可以按照人们预先定义的语法规则生成出句子来，通过对问题解决方法的抽象，用BFS搜索的方法解决了问题，避免了传统面向过程的解决方法中大量if else代码的实现。但是，基于搜索方法决策问题，可能会面临巨大的搜索空间而导致无法解决。