NLP基础核心技术（语法模型和语法树）

最新推荐文章于 2024-10-24 21:12:56 发布

WJY991202

最新推荐文章于 2024-10-24 21:12:56 发布

阅读量745

点赞数 1

文章标签：自然语言处理人工智能

本文链接：https://blog.csdn.net/WJY991202/article/details/128018938

版权

1，写入语法规则

simple_grammar = """
sentence => noun_phrase verb_phrase   #句子语法结构：名词后面接上动词
noun_phrase => Article Adj* noun  #名词词组：形容词+名词
Adj* => null  |  Adj Adj*
verb_phrase => verb noun_phrase
Article => 一个  |  这个
noun =>  女人|篮球|桌子|小猫
verb => 看着|坐在|听着|看见
Adj =>蓝色的|好看的|小小的
"""
another_grammar = """
#
"""

2.随机选择几个形容词进行输出

import random
def adj():  return random.choice('蓝色的|好看的|小小的'.split('|')).split()[0]
def adj_star():
    return random.choice([lambda:'',lambda:adj()+adj_star()])()
def adj_star():
    return random.choice([lambda:'',lambda:adj()+adj_star()])()
adj_star()

但我们发现更换了语法，会发现所有程序都需要重新写

adj_grammar =  """
Adj* => null | Adj Adj*
Adj => 蓝色的|好看的|小小的
"""
def create_grammar(grammar_str, split='=>',line_split='\n'):
    grammar = {}
    for line in grammar_str.split(line_split):
        if not line.strip():continue
        exp,stmt = line.split(split)
        grammar[exp.strip()] = [s.split() for s in stmt.split('|')]
    return grammar
grammar = create_grammar(adj_grammar)
grammar['Adj*']
choice = random.choice

def generate(gram, target):
    if target not in gram: return target #means target is a terminal expression
    
    expanded = [generate(gram,t) for t in choice(gram[target])]
    return ''.join([e if e !='/n' else '\n' for e in expanded if e !='null'])
#递归调用函数、
generate(gram,sentence) target=sentence
expand=[]
=>1. if sentence not in gram
=>2. gram[sentence] = [['noun_phrase', 'verb_phrase']], for t in [nount_phrase,verb_phrase]   
     generate(gram,noun_phrase)
     ==>1. if noun_phrase not in gram
     ==>2. gram[noun_phrase] = [['Article', 'Adj*', 'noun']]  for t in ['Article', 'Adj*', 'noun']
           generate(gram, Article )
           ==> 1. if Article not in gram
           ==> 2. gram[Article] = [['一个'], ['这个']]    t = ["这个"]  t="这个"
               generate(gram,"这个")
               ==>1 if "这个" not in gram  ==>  return "这个"
            generate(gram,"Adj*")
            ==>1. if Adj* not in gram
            ==>2. gram["Adj*"] = [['null'],['Adj','Adj*']]  t = ["noun"] t="noun"
expand = ['一个','好看的','小猫']#让语句学到正确的词汇排列顺序，按照词汇的排列顺序将语句输出，输出"一个好看的小猫"

example_grammar = create_grammar(simple_grammar)
generate(gram=example_grammar, target='sentence')#按语法规则随机输出语句
host = """
host = 寒暄 报数 询问 业务相关 结尾
报数 = 我是 数字 号 ，
数字 = 单个数字 | 数字 单个数字
单个数字 = 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
寒暄 = 称谓 打招呼 | 打招呼
称谓 = 人称，
人称 = 先生 | 女士 |小朋友
打招呼 =  你好 | 您好
询问 = 请问你要 | 您需要
业务相关 = 玩玩 具体业务
玩玩 = null
具体业务 = 喝酒 | 打牌 | 打猎 | 赌博
结尾 = 吗？
"""
for i in range(20):
    print(generate(gram=create_grammar(host, split='='),target='host'))#随机选择的词汇生成语法规则的语句

怎样生成语义合理的一句话，上下文对应的意思不相同，使用句子的出现次数算出概率值，求出P(sentence)频率与概率的区别，频率约等于概率。