自然语言处理（NLP）实验——语言模型应用

一、实验内容

将文件 chn 去空格，最后 1000 行作为测试语料，其他为训练语料。对于 n=1~70 以及 n=h(h 为每句话最后一个字的所有历史)，对测试语料的每个句子的每个字 c，当前面 n-1 个字已知时，预测 c，计算预测正确率，并分析实验结果。

二、处理语料

1.代码实现

with open('chn', 'r', encoding='utf-8') as f:
text = f.read()
text = text.replace(' ', '') # 去除空格
text = text.replace(' ', '') # 去除换行符
text = text.replace('。', '。') # 在句号后添加换行符
with open('new.txt', 'w', encoding='utf-8') as f:
f.write(text)

首先使用 with open()语句读取文件内容，指定编码格式为 utf-8。然后使用 replace()方法去除空格和换行符，并在中文句号后添加换行符。最后使用 with open()语句将处理后的文本写入新文件“new.txt”中。

2.处理结果

三、训练数据，进行预测

1.代码实现

def split_data(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    train_data = lines[:-1000]
    test_data = lines[-1000:]
    with open('train.txt', 'w', encoding='utf-8') as f:
        f.writelines(train_data)
    with open('test.txt', 'w', encoding='utf-8') as f:
        f.writelines(test_data)
    return train_data, test_data

def predict(filename, line_num, char_num):
    with open(filename, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    line = lines[line_num-1]
    context = line[char_num-2:char_num-1]
    target = line[char_num-1]
    candidates = []
    for l in lines:
        if l != line:
            if l[char_num-2:char_num-1] == context:
                candidates.append(l[char_num-1])
    if len(candidates) == 0:
        return '无法预测'
    else:
        return random.choice(candidates)
    
train_data, test_data = split_data('new.txt')
print('训练语料数量：', len(train_data))
print('测试语料数量：', len(test_data))

line_num = int(input('请输入要预测的行数：'))
char_num = int(input('请输入要预测的字符位置：'))
result = predict('test.txt', line_num, char_num)
print('预测结果：', result)

train.txt 和 test.txt 是分割后的训练语料和测试语料文件名。split_data()函数用于将文件分割为训练语料和测试语料，返回两个列表。predict()函数用于预测某一行的某个字的内容，需要传入文件名、行数和字符位置三个参数，返回预测结果。最后，使用 input()函数获取用户输入的行数和字符位置，调用 predict()函数进行预测，并输出结果。
在终端输入想要预测的字的位置后（如输入 1000 9，即表示预测测试语料第 1000 行的第 9 个字），输出预测结果。见下文。

2.运行结果

①划分训练集和测试集

②预测结果
预测错误：

预测正确：

无法预测：

因为预测模型是基于前面的字符来预测目标字符的，当测试语料中没有与目标字符前面的字符相同的字符时，就会出现“无法预测”的情况。

四、计算预测正确率

1.代码实现

def predict(filename, line_num, char_num):
    with open(filename, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    line = lines[line_num - 1]
    context = line[char_num - 2:char_num - 1]
    target = line[char_num - 1]
    candidates = []
    for l in lines:
        if l != line:
            if l[char_num - 2:char_num - 1] == context:
                candidates.append(l[char_num - 1])
    if len(candidates) == 0:
        return '无法预测'
    else:
        return random.choice(candidates)

def evaluate(filename, char_num):
    with open(filename, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    correct_count = 0
    total_count = 0
    for line in lines:
        if len(line) >= char_num:
            context = line[char_num - 2:char_num - 1]
            target = line[char_num - 1]
            result = predict(filename, lines.index(line) + 1, char_num)
            if result != '无法预测':
                total_count += 1
            if result == target:
                correct_count += 1
    accuracy = correct_count / total_count
    return accuracy

predict()函数用于预测某一行的某个字的内容，需要传入文件名、行数和字符位置三个参数，返回预测结果。evaluate()函数用于计算预测精确度，需要传入文件名和字符位置两个参数，返回预测精确度。最后，使用 input()函数获取用户输入的字符位置，调用evaluate()函数计算预测精确度，并输出结果。

2.运行结果

①预测测试语料的每行的第 5 个字

②预测测试语料的每行的第 10 个字

可以看出预测精度并不高，主要原因应该是训练语料数量比较少，模型的泛化能力受到影响，或者预测算法不够优秀，无法充分利用训练语料中的信息。

以上代码不包含导库的部分，自己加一下就行了。