李沐老师是我比较敬佩的深度学习“大神”,之前我在公众号推荐过他的两篇文章。
也推荐过他的著作:全球175所大学教材:《动手学深度学习》(中文版下载)
可能还有同学不知道李沐,这里简单介绍一下他的履历。
他是硅谷华人技术人才,深度学习框架MXNet作者之一,也是《动手学深度学习》作者之一。
2004年,李沐从计算机系ACM班毕业。上海交通大学ACM班是以培养计算机科学家而闻名的“特色班”,自大学起李沐就开启了他的开挂人生。
- 微软亚洲研究院实习,2007 年夏
- 香港科技大学研究助理,2009 - 2010
- 百度高级研究员, 2011.4 - 2012.8
- Google Research 实习生,2013 年夏
- CMU 读博士,2012-2017
- 百度首席架构师,2014.4-2015.12
- 亚马逊首席科学家,2017 年 3 月至今
大佬百忙之中还布道技术,今天就再向大家推荐他的最新系列视频:深度学习论文精读
地址:https://space.bilibili.com/1567748478/channel/seriesdetail?sid=398820
目前已更新了五节:
- 如何读论文
- 9年后重读深度学习奠基作之一:AlexNet
- AlexNet 论文逐段精读
- 撑起计算机视觉半边天的 ResNet
- ResNet 论文逐段精读
后续将更新更多深度学习里有影响力论文:
1、Adam。深度学习里最常用的优化算法之一。
2、EfficientNet。通过架构搜索得到的CNN,现在常被使用。
3、BERT。让深度学习在NLP上热度超过了CV。
4、GPT3。朝着zero-shot learning迈了一大步。当然也得讲一讲GPT/GPT-2
5、GAN。生成类模型中的开创性工作。
6、CLIP。图片分类从此不用标数据。
7、Non-deep networks。21年10月的新工作,让不深的网络也能在ImageNet刷到SOTA。
8、为什么超大的模型泛化性不错
9、GNN介绍。Distill上最近一篇写得很好的介绍性文章。
10、AlphaGo。让强化学习出圈的一系列工作。
感兴趣的同学,学起来!