对微软亚研景仰已久啦,今年的“21世纪的计算”恰逢MSRA成立20周年,正好在北京举办,学校竟然还有免费的参会名额,看到年级群里通知的时候开心的不得了,感觉这次真是天时地利人和齐聚,必须走一波去亲眼见一见各位大佬们,立马注册了大会。
看了一下大会日程,发现最想见到真人的都在Day1,很想听Systems and Networking这个session,一定要见见MSRA系统组大佬的真容;Day2属于可看可不看的,看了开开眼界,并没有见那几个领域大佬的冲动,而且两天都注册太贪心了,把第二天名额留给Bengio的粉丝要签名吧哈哈哈哈哈。
提前几天就陆续收到早七点班车的短信,在这个马上立冬的时候早七点发车简直了,六点爬起来洗刷完毕,楼下买了俩包子一杯粥早饭就打发了,6点40到集合点,发现班车快坐满了,,,大家的积极性好高
到集合点这边验个学号,领票上车
不到七点车就满座了,发车去望京凯悦酒店,竟然7点20就到了,地图显示要1个小时地铁才能到的,这样结果就是8点才签到,我们在车里等(睡)了40分钟,不过微软的活动组织还是很周到的(2015参加微软创新杯的时候体会颇深),坐车上的时候给我们传阅参会注意事项;提前到了地点耐心给我们解释是学校规定外来车辆七点前必须离校,让大家理解。微软给人的感觉就是很在意大家的感受,让人感觉特别亲切。
8点进场签到
酒店一楼凭身份证领同传耳机,到二楼宴会厅外等待入场,这个时候就更体会到会议安排得当了,候场的大厅里是微软的介绍展台,拍了一部分
还有很多海报,溜了一圈发现都是各种learning,各种network,系统方面好像只有一篇,真的是人工智能时代,,,我这种关注系统的人怕是要成为另类了(手动狗头
这个时间安排就比较合适,等待入场的时候顺便就逛逛展台,相比之下十月底杭州的某大会就显得有些仓促,早上八点半主会场就开始,茶歇人超多,周边的展台也基本没时间看,而且场地安排也不好很多人都是站着看,时间控制也有点糟。。就是得多备点结实经摔的话筒。。吐槽结束
快九点的时候开始入场,找了正面学生区第一排的位置坐下,差不多九点二十开始,先是周礼栋院长(MSRA系统组大佬)宣布开幕
然后是微软亚研的院长洪小文致开幕词,回顾了MSRA二十年,枚举了产出的突破成就
接着是微软CEO,Satya Nadella致辞,萨提亚亲自到场,第一次见到有人是真的走路带风,讲了一个curiosity,exploration,research的故事(他没有口音)。
然后是微软全球副总裁沈向洋的keynote
先是回顾MSRA二十年,然后顺到AI驱动万物互联智能的大势,介绍微软的目前的技术方案
特别提到深度强化学习在轮船货运的应用。其实目前的这波深度学习浪潮,真正落地应用,一方面是CV方面,落地在安防,交通监控,无人驾驶,机器人等方面,一个是NLP方面,基于自然语言的交互的个人助理等,还有就是alphago所采用的的强化学习这种来解决优化问题
后面是微软未来10年的big picture,介绍了微软在混合现实,量子计算,以及人工智能方面的积累、投入、责任。
后面的讲者是图灵奖获得者Raj Reddy的keynote, 这个人要说一下,Raj 是洪小文、沈向洋、李开复这三人MSRA院长的老师,Raj还是第一个CS博士,强得不行。演讲的内容对AI的过去作了一个梳理性总结,然后展望了未来的挑战。
接下来是系统结构领域的大佬丛京生院士讲定制芯片,以及他们团队再推进定制芯片民主化所做的工作,虽然研一一年补了很多体系结构的知识,但是他的讲座还是太hard core了。讲了乱序流水线低能效的原因,以及从十几年前就开始做的定制芯片相关的工作,包括高级语言合成的编译器以及各种优化技术。
keynote之后是MSRA Fellowship Award颁奖典礼,
然后是半小时的QA环节,大佬解惑时间,一个yes or no 的问法的问题大佬都会仔细讲解,感觉真的是越牛的人越随和,不会摆架子发脾气。
上午会程结束。
午饭是西式盒饭,据一名老师说是因为这家酒店不允许吃中餐。。。因为没法打扫。。
中午稍休息了一会儿,下午System and Networking就开始了,第一次近距离面对图灵大佬Butler Lampson,见到了微软亚研系统组的大佬真人,以及知乎上出没的俩牛人实习生,其中一人语速超级快,和杨老师一样,,,下午的内容具体技术多一些,只写几个印象比较深的点
Butler Lampson的key note有两个点
一个是,保证iot的安全要提供足够简单可以形式化验证的monitor,加上其他部分的fancy part;因为代码量变多后bug不可避免,必然影响安全;通过这种设计确保安全性。
这张图右上角有philosophy
另一个犀利观点是block chain basically has no value.(not zero value)
他说区块链的唯一价值是shock,帮助人们转变思维,讲到把区块链视为workflow,这地方就没有太理解了
上交王新兵教授作了五年的学术搜索,还在继续做,动机是要获得“structure of the feild”,
可以看到领域的关系图,super star ,rising star, 合作网络等等,很有用很有意义的一个工作
https://acemap.info/csAuthor
后面几个非常具体的技术,不具体写
新开发DSL用于network function visulization, 以及相关优化
深度学习训练系统
观察到dense model使用AllReduce效率高;sparse 模型使用ps架构效率高;开发系统使得同一worker不同类型的模型采用不同通信方式,提升训练性能
为了结合命令式和符号式编程的优势,把命令式程序翻译成符号式,加以处理
把paxos优化到1-round-trip用于跨洲场景
深度学习训练集群调度;用了一个数学模型,解一个优化问题来解调度问题,问题的求解大约需要5s,但是相对深度学习训练来说于overhead只占2.54%的训练时间!
Session结束,主持老师还不忘提醒我们领纪念品哈哈
领完纪念品——马甲,拍照留念,坐班车回学校~
2018年11月6日 于北京望京凯悦酒店