【论文笔记】AI的社会科学与社会科学的研究（一）

冒号1125

于 2024-10-11 20:07:02 发布

阅读量285

点赞数 4

分类专栏：论文笔记读研日记文章标签：人工智能论文阅读

本文链接：https://blog.csdn.net/Jinwan2578/article/details/142861857

版权

3 篇文章 0 订阅

订阅专栏

2 篇文章 0 订阅

订阅专栏

接上文，这部分主要讲的是AI for social science的内容，这个部分主要讲述了以LLM为例的AI在社会科学研究整个流程过程中的应用与总结，这对于研究学者了解整个社会科学研究的流程、找到自己的研究切口、合理利用AI工具或许会有所启发。

一、AI for social science

假设生成是社会科学研究的基础和初始步骤，是挖掘不相关的社会科学概念之间有意义的隐含关联的任务，从现有理论、数据异常模式或涉及偶然发现的跨学科联系中汲取灵感。

文献综述是对特定主题的学术文献的理解、总结和批判性思考。目前LLM在文献综述方面的运用主要包括寻找文献、阅读文献、理解并总结文献。

但需要注意的是，由于存在生成不可靠论文和相关信息的风险，因此目前直接依赖大型语言模型进行文献推荐和总结是不可行的

假设的提出是对某些现象或事件提出可能的解释

AI在提出假设方面的一个价值在于：使用大型语言模型生成“不太可能”的假设，有效地帮助人类全面审视问题并消除由自身知识和经验引起的认知偏差。

假设的验证涉及收集和分析数据，以提供证据，以支持或反驳提出的假设。在传统的社会科学研究中，假设验证通常分为定量方法，如实验研究、调查研究和非介入性研究，以及定性方法，如田野研究和历史比较研究。

实验室实验是一种研究方法，研究者设计、构建或控制观察和测量现象的条件，通常情况下，研究者会操控一些研究参与者的条件，而对其他参与者保持不变。通过比较不同组别的反应，研究者可以发现一致的行为模式。

在实验研究中，大型语言模型可以发挥双重作用 ——它们可以充当实验助手和人类行为的可信代理，或者自己成为实验的主体。尤其是后者，在 AI 和社会科学中引起了越来越多的关注，因为大型语言模型越来越能够模拟类似人类的反应和行为：

实验助手：使用大型语言模型来自动化一些通常由研究人员完成的简单但劳动密集型任务。例如，根据研究人员的反馈协助迭代创建假设场景、合成实验所需的信息而无需使用现实生活中的信息。
实验模拟：设计一个平台来探索、优化和预测在现实世界中可能难以调查的复杂系统的行为。在模拟实验中，大型语言模型通常被用作人类行为的可信代理。例如，使用大型语言模型来模拟社区用户的行为，帮助设计人员深入了解社交互动的各种可能性，并识别可能导致社区崩溃的潜在边缘情况。

调查研究是使用书面问卷或正式访谈来收集有关目标群体的信念、观点、特征以及过去或现在的行为的信息。

现代调查研究的核心是三个关键组成部分：抽样、测量和分析，而目前大型语言模型在调查研究中的应用也主要围绕这三个方向：（1）特定人类亚群的有效代理。（2）互动式采访者（3）结果分析工具。

抽样：从人类群体中选择具有代表性的样本，这些代表性群体观察到的特征提供了对研究群体特征的无偏估计。直接利用大型语言模型的广泛训练数据库作为研究样本，例如，通过根据大型语言模型的社会人口背景故事进行条件调节而创建的“硅样本”。不过，当涉及到更高级的特征时，例如方差、亚组和统计推断，它通常会导致研究人员得出与依赖人类受访者的结论不同的结论。
测量：专注于设计问题，以便在广泛的主题中得出有效和可靠的回答，这通常被描述为“提问的艺术”。利用大型语言模型来协助设计问卷或访谈问题是很自然的，但越来越多的研究人员正在关注大型语言模型在促进调查研究中测量方法范式转变方面的作用——从封闭式评分量表到开放式回答问卷，然后进一步转向更自然的交互式访谈。
分析：使用多变量数据分析技术来识别和理解各种变量之间的统计关系的步骤。大型语言模型可用于分析定性数据，例如访谈回答，以识别模式、关系和共同主题。但使用LLM进行定量数据的分析较少。

非反应性研究是指参与者不知道他们的信息是研究的一部分的研究方法，不像实验研究和调查研究，通过创造实验条件或直接提问来积极参与我们研究的人。这种方法可以减少由于研究人员或测量仪器的干扰而产生的偏差。

根据前人的分类，将LLM在非介入性研究的应用分为内容文字与现有数据的统计分析两种：

内容分析：用于检查书面文档或其他通信媒体中包含的内容的常用方法，大型语言模型在各种传统 NLP 任务中的出色表现引起了社会科学领域内在内容分析任务中使用它们的广泛关注。
- 文本分类，根据预定义的类别对文本进行标记或分类，包括情感分析、立场检测、仇恨言论检测、错误信息检测
- 文本生成，据给定的输入或目标自动生成连贯、流畅和有意义的文本，包括对自然语言进行描述和解释、预测未来情景
统计分析：建立在对现有统计数据分析基础上的研究方法，这些数据来自官方机构、组织、机构或个人，涵盖各种社会现象和问题。对现有统计数据的分析可以帮助研究人员节省时间和成本，利用现有信息资源，并探索新的研究问题和假设。
- 描述性或推理性分析，描述样本的特征或变量之间的关系，或对因果过程进行推断
- 预测分析，根据历史数据推断未来的趋势和变化从而为决策提供基础，例如，利用社交媒体情绪和历史股价信息来预测金融市场

可以看出，总的来说，并不是所有的应用都那么充分，大型语言模型主要可以在三个方面显著改变非反应性研究：(1) 协助人类注释团队的数据注释员。(2) 作为零/少量文本分析工具。(3) 引导具有挑战性的创造性任务。