项目实训第五周团队及个人进展汇报

第五周（3.29-4.4）
本周我们主要召开了两次会议。
第一次会议是在3.29，会议内容考虑了具体的问题生成的处理办法。经过我们资料的查询，由于现在的许多模型在这方面上都是以英文作为输入进行问题的生成，那么这就带给我们两个思路，一是采用翻译的方法，在输入前把文本转译成英文，得到输出后，再把得到的问题翻译成中文；二是直接学习现有的使用中文处理的方法，全部过程不涉及英文。当然，第二种方法有第二种方法的局限，就是中文处理的不如英文好，技术相对来说没有那么成熟。但是，最直接的方便一些，所以我们想采用直接使用中文的方式。我们在这基础上学习了百度的paddlepaddle，并利用比赛的数据集进行训练实验，得到后使用模型生成了简单的问题。比如我们输入“链表是一种数据结构”，输出的问题是“什么是链表？”，“链表是什么？”的问题。初步计划按照这个模型进行。
在4.1我们召开了第二次会议。这次会议实现了初步的细化分工。捋顺整个项目又花费了大约两个小时，解决了所有成员在思路上的问题后，我们做了简单的分工。我和柳昊负责第一部分，问题生成；陈宇轩和杨盛凯负责评价函数。梳理的过程我会在下面的个人陈述中写明白。
我们计划下一周将采用2+2的形式，并行进行，提高效率。如果一方有所余力，可以互帮互助。

下面则是我对我们问题在交流后的理解。要想实现智能评分，我们从整体出发，总共需要两大步，一是问题生成，二是评价函数。两者的功能在后文将会说明，至于问什么需要这两部分，问题生成的意义在上一篇文章里已经说明，这里不再赘述；评价函数则不难理解，最后我想要一个对于答案文本的得分，就需要一个评价函数。两部分已经十分明晰，那么我们便可以顺着向前走。在第一部分，我们输入一系列答案，训练一个神经网络。该网络的主要目的就是在我们输入一个答案后（答案可以是标准答案，或者是考生答案），经过该模型，得到一系列问题Q。这时候，Q是所有问题的全集。
接下来就进入第二部分，在这里将分为两步。第一步，对于训练好的评价函数我们记为φ，这里先解释一下φ的输入输出机制。输入的是问题的集合，为了与Q区分（应该是Q的子集），将这暂时记为q。光有问题是不够的，我们还需要输入答案，对于标准答案，我们记为R，考生答案中，有正确的，也有错误的。我们记已经标记好的正确的为Y，错误的为N。输入结束，再看输出。输出我们计划是一个分数。在了解了输入输出的情况下，我们再来看第一步。在第一步中，我们需要对所得的问题进行筛选，毕竟我们得到的问题极有可能是五花八门的，直接放入评价函数生成结果准确率肯定不行。这一步中，筛选按照φ（q,R）与φ（q,Y）一致的规则进行。这很好理解，如果问题对于标记为正确的答案都不能很好的提问，那我们理应认为这个问题不是好问题。第二步，我们已经从第一步中拿到了φ（q,R）与φ（q,Y）一致q，这样的q就没有问题了吗？并不是的，我们可以看下面这个图。

关于图中字母的说明，图中已经标记的十分清楚，就不再进行标注了。图中的q1，q2，q3都是满足第一步中能分好的回答Y的问题。但是对于q2，q3，在对N的回答中也有部分答案判为正确，这不就是误判了吗。所有这类问题也需要舍弃。这时候，我们就需要第二步筛选，筛选的是选出φ（{q},N）与φ（{q},Y）不一致的q集。这时候，q2、q3就排除在外，只剩下q1了。图中所给的只是很小的一个例子，实际情况比这复杂得多。像图中q3的右面阴影部分，我们没有办法去排除所给样本之外的错误回答也能满足的问题，这就是准确率最后的瓶颈。这里第二步其实没有完成，假设经过前面的筛选，得到了q1,q2,q4,q5，我们是否都要采用呢？这时候，我们就需要得到最大化的q集。我们可以把幂集作为输入，一一筛选，得到最大的q集。拿到之后，我们便可将得到的问题集输入评分函数，对不同的问题进行加权，比较标准答案和考生答案的得分来进行答案的评价，最后得到结果。到此为止，基本所有的思路已经理清，下面就是具体的细节实现了。
我们计划下周将会讨论一些细节的东西，加快方案的落地。