文章目录
1.distill介绍
1.1 介绍
最开始接触这个<https://distill.pub>
网站是因为,看一篇讲述OCR中CTC loss的文章,链接点击这里。一直以为是博客,没有想到是网页形式的期刊。。
关于这个神奇棒呆的有很多可视化网页讲述论文的网站,详细介绍参考:
- 2017年3月20日,Google Brain的Chris Olah和Shan Carter发布了一份专注于机器学习研究的新期刊:Distill(蒸馏的意思)。不同于过去百余年间的论文,Distill将利用互联网,以可视化、可交互的形式来展示机器学习研究成果。
- 这份新期刊一经发布,创始人发文Olah表示以后一心搞Distill,不再写博客,Google Research、DeepMind、YC孵化器、OpenAI纷纷发文章进行介绍,Ian Goodfellow等人在Twitter热情转发,Reddit机器学习版也在热烈讨论
- 一篇(理想的)Distill文章,能让用户能直接与机器学习模型进行交互,称他们为“读者”都显得不太合适。
- 在理想的情况下,这样一篇文章能够将解释,代码,数据和交互式可视化工具集成到一个环境中。在这样的环境中,用户可以用传统静态媒体不可能实现的方式来探索这篇文章。他们可以改变模型的结构,尝试不同的假设条件,并且可以立刻看到操作对结果的影响。这能帮助用户们快速建立对文章的理解。
- Distill会以标准方式被收录到传统的学术出版系统,如ISSN,CrossRef等中。你可以在Google学术中搜索到Distill的文章,这也有助于文章的作者获得学术信誉。Distill文章使用创作共享署名授权协议(Creative Commons Attribution licenses)授权,简单来说就是引用要署作者名。
Distill不仅可以发表学术论文,也接受高质量的说明性文章。 - 发布之初,Distill上已经有了几篇Google团队发表的说明性文章,分别关于神经网络的权值、使用t-SNE方法可视化高维数据、使用神经网络生成手写字母等主题。这些文章就是我们上面提到的“高质量说明性文章”,也向我们展示了Distill文章的形式。
- 创始人Chris Olah和Shan Carter也是进行整体规划和推进方案执行的关键人物。他们二人在创建高质量的说明文章和可视化技巧方面有着大量的经验,致力于支持作者能够加入视觉和动态元素等,对原创文章创造高质量的展示。
- Distill组织旗下设立了3个项目,分别是Distill期刊,Distill奖项,和Distill工具。Distill希望的是,通过这3个组合拳,能改善圈内大多论文晦涩难懂的状况。
- Distill期刊,是一个在线发表机器学习及相关领域论文的新平台,摆脱以往学术论文只能在纸质版期刊发表的束缚,允许科研人员把可视化的模型和图表整合到论文里,方便读者的理解和交互。
- Distill工具,像提供给影视剪辑小白的iMovie一样,方便研究人员快速上手,制作出高质量的颜值高的论文(含交互图)。不必再花大量时间熬与研究课题无关的知识。
- 值得一提的是,Distill奖项,是独立于Distill期刊的。只要在表述上有突出表现的论文,无论是不是发表在Distill期刊上的都会被纳入Distill奖的考虑范围。
1.2 归档(文章合集)
https://distill.pub/archive/
创立了三年,截止2021年12月14日,只有36篇文章。。。创作起来还是很困难的,但是每个都是精品。。
2. 优秀文章(动图)记录
2.1 CTC
OCR中的CTC loss动图(还有别的很多图),文章链接,点击这里,几乎是全网展现最友好的CTC loss讲解:
2.2 deconvolution
反/转置卷积的可视化,点击这里,另外还有知乎的一些回答也可以辅助理解哈
2.3 可微图像参数化
可微图像参数化,机器之心[编译文章链接](资源 | Distill详述「可微图像参数化」:神经网络可视化和风格迁移利器!),distill原文链接。
部分动图展示如下:
最棒的是,jupyter notebook的链接也有,如下:
等,自己去源网页看看,哈哈🎅🎅🎅
2.4 图神经网络科普
- https://distill.pub/2021/gnn-intro/
- https://distill.pub/2021/understanding-gnns/
部分动图如下:
2.5 计算卷积神经网络的感受野
Computing Receptive Fields of Convolutional Neural Networks