神经网络自然语言处理的分析与解释
动机:
- 我们的模型在做什么? 我们的算法学习什么功能还不清楚,而且它们的复杂性使我们无法准确理解
- 我们如何让模型变得更好?
神经网络规划的分析与解释
-
人类作为语言测试的对象
我们如何理解人类的语言行为?一种方法:最小对。什么在说话者听起来是“好的”
我们如何理解语言模型中的语言行为?一种方法:最小对。被接受的句子的可能性高吗?
- 神经网络作为语言测试对象
在语言模型上执行最小对测试的步骤:
1. 收集或构造一个最小对的测试集,这些最小对需要特定的理解来区分。
2. 在对上运行您的语言模型,并报告模型预测的对的百分比
方法:修改测试集以删除长上下文