从零入门AI+逻辑推理|#AI夏令营#Datawhale#夏令营

本次学习活动的赛题“复杂推理能力评估”是一个大语言模型处理推理任务的问题

文档如下

链接: 入门以及各部分task文档
文档讲得很详细了,写这篇主要是摘要和写一点自己的思考

入门: 小白零基础 30 分钟速通指南

跟着步骤把baseline跑完就行,不出意外分数应该比较低,一般为0.3~0.7

Task1:介绍及入门

一、赛题解读

①赛题背景
聚焦于通过解决复杂的逻辑推理题，测试大型语言模型的逻辑推理能力

②赛程安排
略

③比赛任务
场景包括关系预测、数值计算、谜题等，期待选手通过分析推理数据，利用机器学习、深度学习算法或者大语言模型，建立预测模型

④数据集介绍
训练集中包含500条训练数据，测试集中包含500条测试数据。每个问题包括若干子问题，每个子问题为单项选择题，选项不定（最多5个）。目标是为每个子问题选择一个正确答案。推理答案基于闭世界假设（closed-world assumption），即未观测事实或者无法推断的事实为假。

⑤评价指标
本次评估指标为所有子问题的回答准确率，每个子问题权重相同。

⑥任务提交说明
略

二、了解一下逻辑推理

①传统逻辑推理解决方式：
知识表示：奠定推理基石
推理引擎：推动逻辑向前发展
应对不确定性和不完整信息的特殊策略
算法与优化：提升推理效率
②传统机器学习解决方式：
1.特征工程:
首先，需要将问题和选项转换为机器可以理解和操作的特征向量。
2. 模型选择:
接下来，选择一个适合分类任务的模型。对于选择题，常见的模型有：

• 决策树
• 支持向量机
• 随机森林
• 逻辑回归
• 神经网络

3.训练模型
4.预测与评估
5. 解决新问题
其中以尝试以下策略：

• 逻辑规则嵌入：在模型中添加逻辑规则。
• 增强学习：使用增强学习来奖励模型在逻辑上合理的选择。
• 元学习：让模型学习如何学习，通过在多个相关任务上训练，使模型能够更快地适应新类型的选择题。

③深度学习解决方式：
1.数据预处理:词嵌入或字符级嵌入,而非传统机器学习直接把问题和选项向量化

2.模型架构选择

3.多选题处理:
将选择题设计为多标签分类问题。

4.训练:
利用标注过的数据集进行训练，目标是最小化损失函数。

5.推理阶段

6.后处理和解释:
可能需要额外的步骤来解释模型的决策

7.集成学习:
结合多个模型的预测结果，通过投票或加权平均的方式提高最终预测的准确率。

8.持续学习和调整:
如果可用，可以使用增量学习或在线学习方法，使模型能够随着更多数据的到来而不断改进。

深度学习模型的一个关键优势在于它们能够自动学习特征表示，不需要人工进行特征工程。
此外，预训练模型（如BERT）的出现使得模型能够在大量未标记文本上进行预训练.

task1总结:简单易上手,了解了一些基本理论,不过传统逻辑推理的参考文献看不了一点哈哈