深度学习～图神经网络GNN

背景

Problem: 因为纯数据驱动方法无法胜任复杂的机器学习任务。

Solution: 将专家知识融入神经网络➡️图神经网络。e.g. 知识图谱和神经网络融合，基于知识的大规模训练(大型知识库)

    刘知远：In fact, 从无结构文本中抽取结构化知识形成大规模知识图谱后，这些知识反过来可以融入深度学习模型中，帮助我们更好地实现对自然语言的理解。他认为这是深度学习模型与知识图谱不断互相正反馈的过程。如果能构建更大更精确的知识图谱，nlp model能更好更鲁棒。

应用

1. 代码缺陷检测(software defect detection in the field of software engineering)

• 语义(semantics). hongyu zhang教授团队用word embedding和lstm提取java代码every token的语义信息及其之间的依存关系。
• 语法(syntax). AST抽取代码语法结构，用GNN进行判别。

[3] Zhang, Z., Sun, H. & Zhang, H. Developer recommendation for Topcoder through a meta-learning based policy model. Empir Software Eng 25, 859–889 (2020). https://doi.org/10.1007/s10664-019-09755-0

[4] Jian Zhang, Xu Wang, Hongyu Zhang, Hailong Sun, Yanjun Pu, and Xudong Liu. 2020. Learning to Handle Exceptions