观看和转载地址:https://event.baai.ac.cn/live/696
时间: 2023年08月02日 10:00-12:00
地点: 线上
主办方: 北京智源人工智能研究院
“青源Talk”第42期将于2023年8月2日(星期三)10:00-12:00召开,邀请了中国人民大学高瓴人工智能学院教授魏哲巍进行分享。
本期的主持人为北京航空航天大学副教授王啸 ,将在报告结束后与讲者魏哲巍展开对话,敬请期待,欢迎感兴趣的师友报名参会。
2021 年来讲过一次,因此这一次对近两年的工作进行一个展望。
传统机器学习有独立同分布的假设。也就是训练集和测试集是同分布的,因此可以讲训练集合用于测试集。
图机器学习摒弃了这个假设。(长尾分布)
图卷积神经网络并不来自于 CNN,而是信号处理。
近年来图算法被各大顶会和期刊所青睐。
应用领域
1 图卷积神经网络
图上的信息是图信号。
将向量在笛卡尔积坐标下的特征转换到特征向量构成空间当中。
滤波对于图机器学习的下游任务是非常重要的。
犹豫特征值分解复杂度过高!用多项式可以近似任何函数,并且可以和特征分解交换。
上图:
Lecun提出了最早的特征值 CNN。
然后提出多项式
然后提出见过切比雪夫多项式
有非常非常多的不同的多项式,其实数学上能用的基都可以拿来试一试。因此就提出了下面两个问题。
2 大规模图神经网络
上述工作。期望囊括所有图传播的过程。
下面是创新:
3 动态图神经网络
动态图在实际生活中十分常见。
问题而,传播过程和时序变化,无法解耦。因此无法应用于大规模图。
4 图学习对抗攻击
5 几何图机器学习
总结与展望
受大模型的冲击目前不是很大。而且图机器学习的应用入侵到非人工智能领域。
但是它也有机遇和挑战:它的假设不确定!工业中的专业问题还没找到(目前有推荐和蛋白质预测)!没有基准模型!
Q&A
1.有观点认为transformer是一种图神经网络?您怎么看他们两者的关系?
从特殊情况上(完全图)来看,可以类比。但是如果从图结构的学习上来说,两者不同。
2.RNN 可以用于动态图注意力网络吗?
可以,需要变化
3.有关注超图上的图机器学习吗?
不太多,但是消息传递也用到了。
4.图神经网络安全方面的看法?
5.对图生成领域怎么看?
最火的就是分子生成,例如蛋白质分子生成。
6.风控反欺诈的工作follow谁?
follow蚂蚁金服的工作就可以了,做的比较好。
7.GCN 是否能够有效地提取高阶邻居的信息?
需要加一些trick,来避免过平滑过拟合。
8.如何解决蛋白质三级结构缺失的问题?
目前针对蛋白质特别好的建模方式还没有。
9.入门方向?
把DGL 或者pyg的文档摸清楚,做一个常规实验。然后找一个应用场景,试试。
10.结构回归任务?
11.什么样子的工作是好工作?
一、偏理论多一点的工作比较好。能够给人启发。
二、能够让人觉得可以继续深挖的工作
11.加入您团队更看重什么?
人大高领人工智能学院。看个人对算法、图计算的热情,有一定的编程和机器学习背景。