44th_可解释性机器学习_Task01预备知识学习

Task01 预备知识学习

一、什么是可解释性学习

​ 我个人对可解释性学习的理解是是研究如何打开人工智能的黑箱子模型，探求在模型中ai是如何学习，知道ai算法的同时理解并合理的站在人的角度去解释ai算法学习到的内容。

二、为什么需要可解释性学习

​ 随着ai算法的发展，模型在越来越复杂的同时，也变得越来越难以用更准确的公式等去描述模型的有效性。由于深度学习的黑盒效应，研究人员也难以针对性的去调整网络结构，算法结构等去优化决策结果。更多时候通过一些玄学的调参去进行实验结果的优化，也被广大网友戏称是一门“炼丹术”。所以，虽然作为一门实验性的科学，也需要强有力的可解释性去解释为什么产生这样的结果，可解释的AI可以在做出决策的同事给出相应的依据，明确AI方法的适用场景，使决策结果是可控可反馈的，增强用户对人工智能系统的信赖度。

三、可解释性好的机器学习算法有哪些

​ 解释性较好的就是基于统计的机器学习算法，可以直接用数学公式进行表达，并且其中很多算法思想融入了很多统计、概率、逻辑表达、信息论的理论知识，具有很好的解释性，实验结果也便于复现。举几个例子，KNN，Logistics Regression，决策树，朴素贝叶斯，SVM等传统的机器学习算法。

四、深度学习中的可解释性

​ 目前的深度学习发展越来越火热，神经网络更是人人皆知，但是神经网络的可解释性就比较差，尤其是对最前沿的发展中网络究竟学到了什么是很多研究员的疑问，所以研究深度学习中的可解释性尤为重要，比如对于卷积神经网络来说，有几种可解释性的方法，

• 可视化卷积核、特征图

• 遮挡Mask、缩放、平移、旋转

• 基于类激活热力图(CAM) 的可视化

• 语义编码降维可视化

• 可视化卷积核

• 不同的feature map显示了图像中不同的特征

其中在https://poloclub.github.io/cnn-explainer/上展示了CNN卷积神经网络是怎么进行学习的，也是一种深度学习可解释性的方法。

思考题

• 为什么要对机器学习、深度学习模型做可解释性分析和显著性分析 ?
• 如何回答“人工智能黑箱子灵魂之问” ?
• 人工智能的可解释性分析有哪些应用场景?
• 哪些机器学习算法本身可解释性就好?为什么?
• 对计算机视觉、自然语言处理、知识图谱、强化学习，分别如何做可解释性分析?
• 在你自己的研究领域和行业，如何使用可解释性分析?
• 可以从哪几个角度实现可解释性分析 ?
• Machine Teaching有哪些应用场景 ?