AI研究方法论与问题探讨

                                                                                                                       前言

注意：本书适用于对矩阵论，凸优化，泛函数分析，统计学有良好的基础并且有一定AI实践的人，因为本书会大量引入数学，AI基础研究内容。

目前，机器学习很火热。国家打算在近几年培养大量的一线工人来制造AI产品。应用型的硕士就是其中之一，搬运工。真想搞研究的话，先做冷板凳把数学思维提升一下，打好基本功。学习任何新知识或者技术都需要方法论指导。有的人悟性高一些会把握其中的精髓，一般而言，初级人员会频繁扒别人论文，做工程，追赶新技术，搞得自己身心疲惫。精读国际顶级论文30+足矣，引用次数低于100的论文可以当做垃圾扔掉。何为精读？精读意味着不仅能够领略论文的结论是如何来的，而且能够从中得到启发，去发现发掘新的东西能够指出不足之处，指导自己的研究。如果能够意识到这一点早点儿觉醒，下决心培养自己的基础学科研究能力，这样的人还是孺子可教也的。

金庸武侠小说里经常会有功夫的总纲，比如七伤拳，九阳神功之类的。能总结归纳出总纲领的人，一定是集大成者，肯宁是在基本功上下了不少的功夫。机器学习也有总纲，本人放弃码农，最近几年研究基础学科，初有心得。总体来讲，AI有两大分支，一是以类脑学科和仿生学驱动的，另一个就是数据驱动的。前者没有系统研究过，后者是目前火热的，以神经生物学，数学，物理学，计算机基础为驱动的AI，高度依赖高质量的数据。基本上，以数据为驱动的AI，本质上就是两个任务，一个是评价体系或者规则的建立，另一个就是寻找最优的归纳偏置。从数学角度来解读，前者是凸优化的建模问题，后者是求解最优解，从机器学习专业领域来解读，前者是一个智能体系的评价准则建立，包括损失函数，结构化约束，外部知识引入，先验知识构建，后者是算法优化参数，比如遗传算法，模拟退火，最速梯度下降。具体领域会有具体的问题需要解决，比如深度学习参数优化的动态残差问题研究，先验知识比如图谱的研究，损失函数的多准则构建等等。总体来讲，以数据驱动的AI面临的问题依然和数据有关，那就是如何保证系统在数据稀缺情况下的精准度和稳定性。这是今后的重要研究方向，比如模型复杂度太高就需要海量数据来平衡，降低预测误差，数据不均衡预测时就不稳定，需要施加稳定性约束规则，数据稀缺情况下，如何降低模型对海量数据的依赖？那么融合统计学派和联结主义学派是目前的最佳解决方案。这个方案始于2015年获得成功的BiLSTM_CRF，去年6月DeepMind和谷歌大脑发布的图神经网络是集大成者，还有谱卷积算子的研究。

所以本文必然也会对数据驱动的AI做一次彻底的梳理，因此篇幅会很长，差不多一本书。但是不会有死知识的讲解，更多的是思考，引导和问题阐述，以及寻找解决方案。本书基本分为三个部分，第一部分是总纲，从数学凸优化角度论述学习机器学习的方法论，第二部分是应用和建模，用方法论指导实践，第三部分是研究与问题探讨，包括现有AI算法的一些改进想法，基础研究，图神经网络的研究。

第一部分 机器学习的两大任务

1.预备知识

英文版的凸优化前5章内容需要仔细学习研究，会花费很多精力，既可以学习英语，又可以提高数学能力。这部分并不打算罗列所有的机器学习算法，这样做的话必然会流于肤浅。因为任何AI算法都可以统一为建模和参数求解问题。建立这种思维比学习现有的算法更有效。

2.多准则评价规则

   2.1 罚函数

   2.2 多准则约束

3.寻找最优归纳偏置

 3.1 基本概念

 3.2 无约束参数优化

      3.21 梯度下降

              1.梯度下降与最速梯度下降

              2. Newton法

3.3 等式约束的参数优化

 

3.4 不等式约束参数优化

第二部 应用和建模

本部分主要把当前火热的语义相似度问题作为切入点。场景包括kb-qa，文章摘要，机器简历匹配问题。可以把本人之前的语义相似度理论篇和实践篇直接搬过来。

第三部分 研究篇

3.1、深度学习的激活函数性能对比，参数优化方法：①BP算法②激活函数③优化方法：遗传算法与模拟退火(重点大篇幅论述)

 

3.2、关于空间和时间的归纳偏置：CNN和LSTM。其中CNN包括：①数学上的卷积，卷积与傅立叶变换的关系，傅立叶变换(重点论述)②图像中的卷积③textCNN在nlp中的问题探讨，李继维博士团队的汉字语义表示改进探讨④CNN的缺陷及改进(重点论述)。LSTM部分：①从数学角度看RNN到LSTM的演化过程(重点论述)②LSTM的缺陷及改进：self_attention中的线性代数，动态残差的LSTM

 

3.3、图卷积神经网络：①为什么需要图卷积?②基础知识：拉普拉斯矩阵，傅立叶变换，pagerank算法③空间图卷积和谱图卷积(无向图和有向图推理)

 

3.4、换一个角度理解上述算法(神经规则推理)：关系，实体，规则，推理算法，知识图谱向量化，神经网络和图结构的统一，总结问题

 3.5 本书最后一部分：去年IBM医疗AI项目失败的原因分析，它给了我们什么启示？模式识别和逻辑推理到底有何区别？什么样的场景下需要逻辑推理？如何让机器学会人的逻辑推理？未来AI的出路在哪里？程序员又该如何创造和管理AI？