图科学实验室Graph Science Lab 2022-05-09 00:29
封面
下载：
https://stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf
摘要
深度学习重塑了人工智能的研究和应用。现代深度学习模型主要是为规则结构数据设计的，如序列和图像。这些模型是为将这些规则结构的数据作为输入(例如，分类，回归)，作为输出(例如，生成)，或作为结构先验(例如，神经结构设计)的任务而构建的。然而，并不是所有形式的数据都是规则结构的。一个值得注意的例子是图结构数据，这是一种通用的、功能强大的数据结构，它以一种简洁的形式表示实体及其关系。虽然图结构数据在自然科学和社会科学中无处不在，但其离散和non-i.i.d.大自然给现代深度学习模型带来了独特的挑战。
在本文中，我们的目标是通过促进深度学习模型将图作为输入、输出和先验，从而使用图结构数据增强深度学习。我在这三个方向的研究为深度学习的研究开辟了新的前沿:
(1)基于深度学习的图学习。我们开发了富有表现力和有效的深度学习方法，可以将图形作为输入，促进图形的学习和理解。
(2)利用深度学习生成图。我们使用深度学习模型阐明图的生成过程，这促进了图的发现和设计。
(3)图作为深度学习的先验。我们发现图结构可以作为神经结构和机器学习任务的强大先验，这为深度学习的设计和理解开辟了一个新的方向。
最后，我们讨论了上述技术的广泛应用，包括推荐系统、药物发现、神经结构设计和缺失数据的imputation。
感谢
在斯坦福大学的四年是我人生中最宝贵的经历。我于2017年开始攻读博士学位;那时候，我还是机器学习领域的初学者。我在我的目标声明中写道，我希望攻读博士学位，成为一名机器学习研究员。现在，我很高兴，在这段神奇的旅程中，我已经达到了一个重要的里程碑。
首先，我要感谢我的导师Jure Leskovec在这次旅程中的支持。Jure教会了我如何做正确的研究，写好论文，制作好幻灯片，基本上是成为一名出色的研究人员所需要的一切。我有很多和Jure一起工作的美好回忆。我怀念那些我们围坐在一块巨大的电子白板前，讨论项目下一步该做什么的日子。记得大一的时候，Jure来到我的办公室，和我一起改进我们提交给2019年Web Conference的论文;他开玩笑说，我的键盘又好又高效，我现在还在用它来写论文。我记得有一次我们通过在幻灯片上留下评论来重复幻灯片的内容，最后，它们都被证明是很棒的。我非常感谢Jure做我的导师。
我想感谢Stefano Ermon在我的论文委员会工作，以及David Lobell担任我的口头委员会主席。五年前，我作为暑期实习生与斯特凡诺和大卫一起工作，这对我来说绝对是一次改变人生的经历。我非常感谢他们对我的信任和支持;没有他们，我无法想象我如何开始这令人兴奋的旅程。我要感谢在我的论文委员会任职的马腾宇，以及在我的口头委员会任职的吴佳君。我在清华读本科的时候，一直很欣赏他们的经历，并向他们学习。很高兴听到他们对我的研究的建议和评论。
我非常感谢得到许多伟大研究者的支持和指导。我的导师是Facebook AI Research的Kaiming He和Saining Xie。他们的远见卓识和实践经验让我受益匪浅，也重塑了我对深度学习研究的思维模式。我们的合作为我的论文带来了相当大的一部分，我希望在未来能与他们再次合作。我要感谢William Hamilton、Marinka Zitnik、Tim Althoff和David Hallac在我博士生涯的早期指导。他们都是SNAP的校友，我从他们那里学到了很多关于研究和博士生涯的第一手经验。我要感谢Vijay Pande、Clark Barrett和Mykel Kochenderfer在我们的研究合作中对我的指导。我从他们每个人身上都学到了跨学科的思维方式。我要感谢Aditya Pal、Pong Eksombatchai、Chuck Rosenberg和Vanja Josifovski，感谢他们在Pinterest实习期间对我的指导和支持。我很幸运能从他们对行业的洞察中学习，并进一步了解技术如何真正改变世界。我要感谢Andreas Paepcke, Hector Garcia-Molina, Jeff Ullman, Gio Wiederhold，感谢他们在斯坦福Infolab会议上的所有建议和指导。
我感谢SNAP研究小组给予我的所有支持。感谢Rex Ying、Camilo Ruiz、Michele Catasta、Srijan Kumar、Himabindu Lakkaraju、Emma Pierson、Claire Donnat、刘柏文、任洪宇、曹凯迪、胡卫华、Maria Brbic、吴太林、李善涛、李潘、Antoine Bosselut、Serina Chang、Alexandra Porter、Yusuf Roohani、Hamed Nilforoshan、Michihiro Yasunaga、Evan Sabri Eyuboglu、孙范云、吴启田，张锡坤。我从小组会议、文件交换和日常讨论中得到了很多帮助。我特别要感谢Rok Sosic在研究和生活上的指导(以及所有去太浩湖的旅行)，Adrijan Bradaschia在我们组的计算资源上的所有帮助，以及Yesenia Gallegos和Natasha Sharp协调所有的行政事务。
我由衷地感谢我的前辈和同事们的建议，特别是贾志浩、李晓成、陈丹奇、李成涛、戴汉军、许丹飞、夏飞、齐鹏、李继伟、刘博文、刘晨曦、王一晨、陈开峰、陈一伦、王贺、方宽。我从他们身上学到了很多。
感谢业界合作伙伴的支持。感谢摩根大通的Daniel Borrajo、Vamsi Potluru、Naren Chittar、Reddy Prashant;杨昊，Mahashweta Das，王飞，吴余杭，VISA Research;JDAI Research的黄静、王广涛;来自谷歌X的杨洁、郭查理;来自西门子的温成涛和Arquimedes Canedo。我特别要感谢摩根大通和百度慷慨地提供奖学金支持我的研究。
我真诚地感谢我所有的研究合作者，他们对本文的材料做出了很大的贡献。感谢Ying Rex、Wang Andrew、Liu Bowen、Camilo Ruiz、Christopher Morris、Daisy Yi、Dylan Bourgeois、孙范云、肖光轩、吴浩泽、任洪宇、Jonathan Gomes-Selman、曹开迪、杜天宇、William Hamilton、任翔、马晓白、王懿宸、贾志浩。我特别要感谢雷克斯·英。我们在大多数项目中都有合作，我们从彼此那里学到了无数的好点子。与Rex合作是我的荣幸，我相信我们会在未来继续创作出伟大的作品。
我总是喜欢和我的朋友们在一起。多亏了张浩田,雷克斯,Qiaoyi Liu宏宇任圣嘉赵,嘉明歌,凯迪曹,阿里安娜元,黛西叮,Lantao Yu ZiyueWang,小张,Chenzhuo朱、张Zewen汉城曹,你们郭,天宇Du,安德鲁·吴钱,据张Yunzhu李和许多其他人一样,所有的讨论研究和生活。特别感谢我的朋友们从小学,高中,大学,Zhengdao陈,陈莫Chengyun Yu Hanchao悦,Zongbo Du,一帆,志华顾,心语傅,裴Wang Mutian Liu协调Yu, Xi Chen Yu叮,Weijia Wu Yangrui陈,思玉王,泽田,白Liu Ruochi张和很多人一样,我特别要感谢陈正道，他是我在过去18年里一直可以求助的人。
由于空间的限制，我很抱歉不能写下所有帮助和支持我在博士期间的名字。我想对他们说一个很大的感谢。
最后，我要感谢我的父母和我的未婚妻葛，感谢他们无条件的爱。他们的爱和支持造就了今天的我。
感谢我的父母和葛先生，感谢他们无条件的爱。
目录
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
