文献阅读:田晟兆1,胡迎茜2,谷 成3,陈端兵1,4* (1. 电子科技大学大数据研究中心 成都 611731;2. 中国航天科工集团公司第二研究院 北京 海淀区 100854; 3. 航天科工防御技术研究试验中心 北京 海淀区 100854;4. 成都数之联科技股份有限公司 成都 610041)
针对模型不稳定问题提出的一些可行方法
一、 问题:
模型的不稳定性和难解释性一直是深度学习 理论面临的难点问题,伴随海量标注数据的大量噪 声导致深度学习不稳定,深度学习模型提取的特征 很难直观地理解和解释。这些问题和挑战限制了深 度学习解决更复杂、更抽象问题的可能性。
二、 建模方法分类
1. 基于显式知识的建模方法,即专家系统
2. 基于隐式知识的建模方法:即有监督学习,打标签的方法
2.1 机器学习方法
支持向量机、决策树、随机森林 等
2.2 深度学习方法
采 用一种端到端的方式直接对数据本身进行建模,通 过深度神经网络自动学习提取特征并建立深度特征 与数据标签之间的映射关系。
(小样本学习----数据增强&度量学习)
三、 基于融合知识的建模方法
1. 知识提取
知识提取的目的是从非结构化的文本和其他结 构化或半结构化的数据源中发现和识别实体和关 系。
关系提取方面,不少工作者采用图卷积神经 网络及其变体建模实现关系提取任务。
2. 知识表征
- 使用低维向量表示实体和关系信息的过程
- 分为几何表征 模型和神经网络表征模型
- 提出了一种时序图信息 的嵌入方法,然后基于图神经网络,提出了一种结 合图的邻接矩 阵与卷积神经网络的关键节点挖掘算 法[120],可以有效地将图中节点的邻域信息嵌入到 矩阵中。
3. 知识应用
- 图搜索神经网络
- 知识图谱迁移网络
四、 知识和数据联合驱动建模