NLP（七十六）使用大模型完成填字游戏

欢迎关注我的公众号NLP奇幻之旅，原创技术文章第一时间推送。

欢迎关注我的知识星球“自然语言处理奇幻之旅”，笔者正在努力构建自己的技术社区。

本文将介绍如何使用大模型来完成汉字填字游戏。

这一次，我们将利用大模型来做一件酷酷的事情，那就是用它来完成汉字填字游戏（word puzzle）。

填字游戏

填字游戏一般在国外较受欢迎。填字游戏一般给出一个矩形的表格。这个表格被分割为若干个大小相同的方格，方格的颜色有白色与黑色两种。白色的方格组成一些交叉的行与列，行列的长度不等。玩家根据题目所提供的有关信息，将答案填入这些行与列之中，每个白色方格中只能填入一个字。

笔者在公交上打开澎湃新闻App，里面有"澎湃填字"游戏，本次游戏的界面如下：

游戏中的题目如下：

1. 李清照的词《一剪梅·红藕香残玉簟秋》中“一种相思，两处闲愁”的上一句,7
2. 印度洋的一个岛国，首都科伦坡,4
3. 一种伞形装备，用于从飞机上空头人员或物质等,3
4. 苏轼的词《念奴娇·赤壁怀古》中“浪淘尽，千古风流人物”的上一句,4
5. 一种可以用作宠物饲养的可爱鸭子，即Call duck,3
6. 中国最早的出版社之一，1912年1月1日成立于上海,4
7. 横跨欧亚两洲的一个国家，首都是安卡拉,3
8. 中国的一个知名音乐节，今日因在南阳成“音乐劫”引发关注,5
9. 中国最大的内陆咸水湖，也是世界上海拔最高的湖泊之一,3
10. 中国古代四大发明之一，蔡伦是其发明者,3

一、曾让牛顿痴迷的中世纪炼金术中，“神圣三元素”包括硫磺、盐和哪种物质？,2
二、“迪士尼公主”大家庭中，唯一设定没有皇室血统或身份的公主形象是谁？,3
三、一种充满复杂通道的建筑物，很难找到正确的通行道路,3
四、汉代蔡邕用柯亭竹所制的著名笛子，后泛指美笛,3
五、成语，喜欢做某事，并在其中获得乐趣,4
六、上海的一所知名财经类高校，校训是“厚德博学，经济匡时”,4
七、清朝洋务运动中成立的近代军事工业生产机构，也是近代中国最大的军火工厂,5
八、李煜的词《浪淘沙》中“天上人间”的上一句,7
九、今日“巴以冲突”再起，其中“巴”是指那个国家,4
十、学术上用来表示特殊意义的专门用语,2

其中，阿拉伯数字开头的是竖排，汉字数字开头的代表横排，最后的数字代表答案的字数。

既然大模型的能力很好很强大，那么，我们为什么不尝试用LLM来完成填字游戏呢？

Let’s go!

程序

首先先介绍下笔者的解决思路。

1. 需要调用搜索引擎。一是因为题目中包含最近的时事新闻，二是因为ChatGPT对于汉语，尤其是诗词的理解能力较弱，三是因为有了搜索引擎，才使回复更好更完善，并给出答案解释，类似与perplexity.ai
2. 写一个合适的prompt，包含搜索引擎的结果作为背景知识
3. 限定回答的字数，这个采用openai中的模型调用参数max_tokens来实现
4. 回答时先解决竖排，再解决横排。当知道竖排结果时，可以对横排结果的答案进行限制，这边采用openai中模型调用参数logit_bias来实现

实现的Python程序如下：

# -*- coding: utf-8 -*-
# @place: Pudong, Shanghai 
# @file: chinese_word_puzzle.py
# @time: 2023/10/10 23:24
import os
import openai
import tiktoken
from langchain.tools import Tool
from langchain.utilities import GoogleSearchAPIWrapper

os.environ["GOOGLE_CSE_ID"] = "xxx"
os.environ["GOOGLE_API_KEY"] = "xxx"


class ChnWordPuzzle(object):
    def __init__(self, model_name, query, answer_number, special_rules):
        self.model_name = model_name
        self.query = query
        self.answer_number = answer_number
        self.special_rule = special_rules

    def get_google_search_result(self):
        search = GoogleSearchAPIWrapper()

        # return first five search results
        def top5_results(query):
            return search.results(query, 5)

        tool = Tool(
            name="Google Search",
            description="Search Google for recent results.",
            func=top5_results,
        )
        result = tool.run(self.query)
        return result

    def make_prompt(self):
        prefix_prompt = "请根据搜索引擎的结果，回答下面的问题。搜索结果如下：\n"

        search_prompt = ""
        try:
            for record in self.get_google_search_result():
                search_prompt += f"标题：{record['title']}，内容：{record['snippet']}\n"
        except Exception:
            pass

        suffix_prompt = f"问题：{self.query}。请用{self.answer_number}个汉字进行回答。"

        prompt = prefix_prompt + search_prompt + suffix_prompt
        return prompt

    def solve(self):
        openai.api_key = "sk-xxx"

        prompt = self.make_prompt()
        print(prompt)
        logit_bias_dict = {}
        enc = tiktoken.encoding_for_model(self.model_name)
        for no, char in self.special_rule.items():
            for token_id in enc.encode(char):
                logit_bias_dict[token_id] = 10
        print(logit_bias_dict)

        response = openai.ChatCompletion.create(
            model=self.model_name,
            messages=[
                {"role": "user", "content": prompt}
            ],
            max_tokens=self.answer_number + 3,
            temperature=0,
            logit_bias=logit_bias_dict
        )

        return response['choices'][0]['message']['content']


if __name__ == '__main__':
    my_query = "李清照的词《一剪梅·红藕香残玉簟秋》中“一种相思，两处闲愁”的上一句"
    my_answer_number = 7
    my_model_name = "gpt-3.5-turbo"
    # my_model_name = "gpt-4"
    my_special_rules = {}
    chn_word_puzzle = ChnWordPuzzle(my_model_name, my_query, my_answer_number, my_special_rules)
    print(chn_word_puzzle.solve()[:my_answer_number])

在实际运行程序时，将Google search的API key和OpenAI的key替换成自己的。

我们来看一下，第一个问题的prompt和答案。

请根据搜索引擎的结果，回答下面的问题。搜索结果如下：
标题：李清照，花自飘零水自流，《一剪梅·红藕香残玉簟秋》，表达思念_独 ...，内容：May 3, 2019 ... 李清照的词能够唤起很多人们对情感的追索，对于情感的一种追忆。从李清照的词中人们能够找到很多现实生活中情感的寄托。这首词的意思就是：“粉红色的 ...
标题：一剪梅·红藕香残玉簟秋_百度百科，内容：一剪梅·红藕香残玉簟秋》是宋代女词人李清照的词作。此词作于词人与丈夫赵明诚离别之后，先写清秋时节与爱人别后，独上兰舟以排遣愁怀，西楼望月恨雁来无书， ...
标题：一剪梅·红藕香残玉簟秋原文、翻译及赏析、拼音版_李清照_古诗文网，内容：轻解罗裳，独上兰舟。云中谁寄锦书来？雁字回时，月满西楼。花自飘零水自流。一种相思，两处闲愁。此情无计可消除，才下眉头，却上 ... 词的上阕首句 ...
标题：一剪梅•红藕香残玉簟秋，李清照玉簟秋赏析，一种相思两处闲愁- 知乎，内容：Mar 5, 2020 ... 这首词牌名“一剪梅”分为上下两阕（que，四声），阕字义是“停止”的意思，用在词里面，一般指“一段”的意思，这首词牌名是分为两段的，第一段称为上阕，第二 ...
标题："花自飘零水自流。一种相思，两处闲愁。"全诗赏析_古诗文网，内容：原文. 李清照《一剪梅·红藕香残玉簟秋》. 红藕香残玉簟秋。轻解罗裳，独上兰舟。云中谁寄锦书来？雁字回时，月满西楼。 花自飘零水自流。一种相思，两处闲愁。此 ...
问题：李清照的词《一剪梅·红藕香残玉簟秋》中“一种相思，两处闲愁”的上一句。请用7个汉字进行回答。
{}
花自飘零水自流

回答正确！Perfect!

实验

我们使用gpt-3.5-turbo模型，对前10个问题进行测试，答案如下：

1. 花自飘零水自流
2. 斯里兰卡
3. 投物伞
4. 大江东去
5. 柯尔鸭
6. 中华书局
7. 土耳其
8. 迷笛音乐节
9. 青海湖
10. 蔡伦

其中，第10个回答明确有错，我们调用GPT-4模型，可得到正确答案：造纸术。

在得到竖排答案后，我们在回答横排问题时，可以用竖排的答案对回复进行约束，比如在回答横排第二个问题“迪士尼公主”大家庭中，唯一设定没有皇室血统或身份的公主形象是谁？时，我们知道第一、第三个字分别为花、兰，那么答案应该为花X兰。于是，我们将my_special_rules = {“一”: “花”, “三”: “兰”}，可对答案进行约束。

横排答案如下：

一. 水银
二. 花木兰
三. 迷宫
四. 柯亭笛
五. 乐在其中
六. 上海财大
七. 江南制造局
八. 流水落花春去也
九. 巴勒斯坦
十. 术语

总结

在上述的解决方案中，竖排的第3个回答投物伞有误，这是Google Search和大模型回复共同导致的错误。正确答案为降落伞，作为人可以轻松地回答出来，而大模型+搜索引擎竟然不行！

竖排的第10个回答，gpt-3.5-turbo模型错误，而GPT-4模型回答正确。

同时，横排的第一个问题在Google Search没有搜索结果，靠logit_bias约束答案中有“水”字生成的答案为水银，答案正确。

最后，横排的第六个问题，答案为上海财大，但如果logit_bias的值设为5，答案为上海财经，由于竖排的答案已知最后一个为大字，所以可调整logit_bias的值。

在上述的种种调试下，使用gpt-3.5-turbo模型，回答正确共18个，正确率90%。

综上，

1. 尽管有Google Search的加持，但大模型还是会回答错误。
2. Google Search存在搜索无结果，因此需要容错。
3. logit_bias的值有一定的概率会生成错误答案。

因此，上述的解决方案还不十分靠谱，期待下次优化~