数学AI钢琴健美和乒乓球

说句实话，今天看了一天paper，也不知道看出来了个鬼。一直想研究在Transformer架构上怎么能搞点trick出来。看了Switch Transformer，得到概念基本也就是那些。目前看来要是再去看的话，恐怕就只能看CV了。一堆其他设计当然也可以尝试，最近居然还出现了一个Transformer-in-Transformer，不过似乎还是CV。至于RL，基本上各种attention网上怼。我还是没太明白这里面的一些基本脉络。...

Overleaf, Online LaTeX Editorhttps://www.overleaf.com/read/fwptsnbcvkcg大部分写到这里了。说句实话，RS这边感觉很难（可能是我太菜了）整理出来一个脉络，基本上大家都可以自己讲一个自己的故事就完毕了。从网络设计上来看，很难找到一个通用的trick。我明天继续搞。...

最近本江湖骗子写本子写多了，但是突然发现RS的东西还是挺好玩的。这里面有很多东西我都没有意识到。在这种情况下，因为CSDN写起来太散了。我干脆建了一个Latex文档用英文写。RL脑洞集锦https://www.overleaf.com/read/fwptsnbcvkcg...

今天一天整体比较水，主要是需要赶一个本子，所以大概看了两篇联邦学习的东西。说句实话，我对这个领域真的不是十分了解，但是从个人感觉来说，除去密码学的东西真的不懂，整体来说，我感觉还是在一个比较宽泛的设定下，研究怎么把各种成熟方法搬过去的学科。学术上大家关不关心我不知道，但是整体来说，应用上最近国家似乎要搞实验导致很多类似的要求。SecureBoost: A Lossless Federated Learning Framework是个人感觉最实用的，也是写的很清楚的一篇文章。大体来说，这篇文章好就好在作者

Ffjord虽然是很老的一篇文章，但是这个想法真的很惊艳。这里面最惊艳的大概就是把Normalizing Flow做成了连续形式，然后根据一个ODE的解法来进行。对于数学基础好的同学，这里面最重要的可以学习的是关于处理复杂度的处理，和Performer能学到的东西很类似。BYOL是一个非常有意思的文章。在我印象中，例如基本依赖于负样本，类似于Triplet Mining。在相当的时间里面，我一直认为Constrast Learning的主要目的还是引入负样本。但是这篇文章告诉你，其实引入负样本反倒是不靠

大概今天下午都在吹NB。大体来说，想把之前的一些项目都出来。所以呢，就做了这么一个库。GitHub - rwbfd/SmartRechttps://github.com/rwbfd/SmartRec大概来说，大部分研究性质的都会放在私有库知道paper成型。但是通用的一些东西已经会放出来了。里面东西很多，其中Offline RL和Representation部分还在写。今晚会更新第二版。懒得到时候再写CSDN了。所以现在先放出来。...

说句实话，RecSys还真是一个挺有意思的领域。大部分paper的话非常容易去读，因为大部分思是通用的；另外结构化数据集这个也是比较有挑战的。此外，我发现很多人在发paper的时候都会借助于其他领域的思想。当然，这是不是纯粹为了创新而创新咱不说，但是确实很让我开阔眼界。Self-supervised Graph Learning for Recommendation这篇是我觉得最有意思的。个人感觉大体来说，思路是用Random Dropout模仿NLP的Mask；紧接着用Contrast Learnin

说句实话，今天两个小时就看了三篇论文。一个小时看的是摘要，还有一个小时看得是数学推导。我个人对研究一点感觉都没有，所以说了千万各位老大不要拍我，但是感觉目前RL，尤其是DeepMind的研究越来越从实用算法比较进入到数学推导了。并不是说数学推导不好，但是作为一个没有追求的人，的确是想看看RL算法当中一些实用的内容。On The Effect of Auxiliary Tasks on Representation Dynamics的思路还是很清奇的。从整体来说，这篇文章主要考虑的是从数学角度看Auxil

这段时间一直很忙（懒），所以就没写paper。今天开始一定要开始写！（然后明天就放弃）。Vector Quantized Models for Planning是一篇特别有意思的paper，因为之前DreamerV2就是把复杂的问题改成离散化，结果效果巨好。这一篇可以说是以这个为基础的。Return-based Scaling: Yet Another Normalisation Trick for Deep RL这篇很有意思，原因是他想法很简单，但是解决了一个很复杂的问题，就是RL当中的Retur

最近小伙伴在研究RL当中的encoder refinement，我就看了一眼exploration。有时候一个着不好用，可能得两个着或者三个着，不行还得马大师出面一下。先说我们的基础是DreamerV1和DreamerV2。这两篇文章细节相当复杂，但是相当有意思。我建议对Model Based RL感兴趣的同学仔细阅读一下。此外，在这个过程中，目前揪出来的encoding refinement相关的还有Normalizing Flow。大家也可以看看。关于Exploration，大概最主要的例子都是蒙特

最近一直懒，没更新论文。虽然我向天发誓我论文一直在读的（天：我才不相信你呢）。总之最近要读的论文比较杂，主要是Contrastive Learning+Exploration in RL+Generation。想到哪里说到哪里吧。SimCLR估计大家都知道了，大体就是对于不同的instance之间做contrast，如图注意哈，这里面有两个有意思的东西，首先那个fff不要小看它，这个metric learning的思想会改变整体的效果；第二个就是他的batch size得超级大。为了解决超级大的问题

废话不多说，看这里。

之前说过每天大概要搞出来5篇paper，结果果然翘了。为了能够搞出来，现在我们就把这些任务放在CSDN上吧。事实证明，这个世界上有大一堆非常有趣的关于Batch Normalization，Skip Connection之类的东西。下面是几篇文章。ReZero这篇文章列了几个简单的方法。具体见图：如果这个不够酷炫的话，那么IC这篇就更有意思了。基本思路是加一个Whitening。一些其他关于Layernorm的讨论引发了这一堆各种各样的连接法关于这个，Facebook不太高兴，于是在训练更

最近在授课和工作的过程中，接触了一些入门机器学习的同学。客观来说，很多人在进入这个领域时候，第一个往往是“人傻钱多”。“人傻”这话当然是不能给领导说的，而且说句实话机器学习领域目前行内的傻子已经越来越少了。但是“钱多”这件事情肯定是有原因的，如果机器学习领域是三天半俗称月薪八万的话，估计我楼上菜市场都要关门因为大家全去阿里机器学习去了吧。当然了，如果基础差或者觉得距离远这件事情不是一件可怕的事情。可怕的是一些人对于机器学习，或者是工作这件事情有不切实际的想法，以至于自己虽然说自己很想要这个岗位，实际上却一

在年前，很有幸的参与到CSDN AI工程师学习路线图的制作当中。这件事情大体是年前一流科技的老师木联系我让我写一下AI工程师的一些进阶路线图。这件事情我很荣幸，但是也很忐忑，因为我相信我一定得罪了很多大佬，因为纯粹从技术上角度，我其实是没有资格出这个路线图的。如果真的要出这个路线图，可能一个人都不够，得是hinton，lecun这种大佬商量了很久以后出的。但是另一方面，目前有的一些路线图，至少在我看来，的确是很糟糕的。比如说NLP工程师路线图还是停留在TextCNN和BERT，那基本就意味着写这个的人可能真

在做Meta Learning的时候，经常需要将一些梯度后向传导停住在某些层。但这不意味着我仅仅调用required_gradient=False就可以了。在一些层，例如dropout层，用于训练和用于推断表现不一样。所以说一般建议的是用model.eval()方法。这个小错有时候能导致很大的困难，例如预测时候突然精度变得特别差。...

先声明一下啊，这个标题纯粹是标题党。嗯，我先去死三分钟。死回来了，下面来说一下这个问题。简单来说，这篇博客要解决的问题是，如何想办法让真正有资格给你作出方向性指导的人。要说的比较多，各位看官别着急。如何定义“大牛”和“牛人”牛人很好定义。简单来说，但凡是我可以有可以跟着学的，并且这个东西是符合我三观的，都应该称之为牛人。不符合三观例如怎么漏肉之类。符合三观的可以很简单，比如说就是一个举手投足，比如说最近我见到的姜子牙的动漫组的人，哪怕能告诉你真正的方向，我们就应该称之为牛人。几千年前有个姓孔的山东大汉

由于最近跟DeepMind的合作，我们可以训练非常大的预训练语言模型。在这个过程中，浏览中文社区时候，又让我看到了让我想吐的大牛散播谣言，加上最近谷歌那个1.3trillion的模型，又被吹疯了，然后又是胡言乱语。强调几点：即使不是100%，中国大部分研究根本没办法研究预训练语言模型，因为耗费算力太大。我们跟deepmind合作的算力是TPU V3-2048， 大概是20000块V100，实际上肯定不会相差这么小，我们自己根据TPU V3-64常年测试的结果，发现大概其实应该是12万块V100左右。没

从目前来看，当初所说的各种酷炫的RL算法很有可能（至少在经典问题上），被model-based方法取代。目前一个很强的算法是dreamer，而且他可以很好的扩展，建议大量读他相关论文。在这方面，如果需要一个初级介绍的话这个博客非常好。...

有人说数理逻辑+深度学习就等于强人工智能。但是说句实话，这些都是概念。我理解数理逻辑在其中的作用。如果感兴趣的，可以看这本书。但是说句实话，真正逻辑推导能做到很好是很难的一件事情，并不用说跟深度学习模型结合。但是也不是说没有做的，或者该领域就没有意义。这篇文章是我感觉做的最扎实的。可以看看他的后续工作。...

PyTorch和TF在处理TPU训练上有一个明显的不同，那就是PyTorch缺少steps_per_execution这个参数。简单来说，TF可以一次喂给TPU一堆东西，而PyTorch XLA不可以。前两天，刚刚提了这个bug。得到回复知道怎么修了，结果人家官方有个人18个小时提出来了。Anyway，这段代码是核心：from __future__ import divisionfrom __future__ import print_functionfrom six import iterite

这篇文章介绍了一个叫做EntMax-α\alphaα的激活函数。当α=1\alpha=1α=1时，该激活函数成为了softmax，而α=2\alpha=2α=2时，则为sparsemax。这个研究在NLP领域倒是没有掀起什么风浪，但是在表格化挖掘却因为TabNet火了。把这个作为例子，是一个很好的jax的使用练习。代码在这里。还在优化中。一些flax和jax的补充在并入到官方之前，可以在我的github找到。绝对不保证实践正确。Use with caution。不管怎么说，代码在这里。import

废话不说，上链接。[下载地址]如下。(https://www.jair.org/index.php/jair/article/download/12412/26638)

Triplet Loss Mining从最广义的角度来说，就是说每次训练逐渐训练越来越困难的样本。多余的不说。这个介绍和这个代码可以尝试。其实这个idea可能不仅仅适用于triplet loss。很期待有人能进行实验。...

中国大概99%的都是伪大佬吧，伪大佬自称神，自称巨佬，自称远古巨神等等，但是说句实话，大部分恐怕都没接触过大佬圈。要区分很简单：伪大佬很喜欢自我抬高，每天到处写博客发自己的东西，显示自己实力高强；真大佬最怕自我抬高，因为到处来一帮想白嫖的；伪大佬闲，闲的体现就是大量的时间做宣传自己的事情；真大佬你发他邮件未必有时间理你；伪大佬喜欢盗用别人成果，比如说明明是谷歌的，伪大佬会说我自研的啥啥啥；真大佬从来不敢盗用，在学术圈臭了就不用混了；伪大佬看不起别人，认为回答别人问题是耽误自己时间，不如给自己造神

我知道网上对于所谓阿三的外包问题一直是觉得特别简直是low到极点，知乎上还有大佬专门diss印度外包。但是另一方面，从外包市场来说，像中国的头部外包，姑且不说又贵又不好用，姑且不说英语不好所以不被美国用，我们再去掉所有政治因素。如果公平比较，我觉得大部分大厂的大牛可能打不过印度的高年级本科生。我来说说昨天发生了一件什么事情，我昨天联系外包的时候，突然被一个印度的学生（本科生三年级），说想接点外包的活。来自于Indian Institute of Science。一直跟我聊说老板给个机会，一直跟我聊说

BatchNorm大家都知道，但是最近实验发现，这玩意的影响比想象大得多。比如说有人发现TabNet的实验，如果BatchNorm实现错了，整个训练最后就会崩。这方面有两个资料。Four Things Everyone Should Know to Improve Batch Normalization相当好玩，实现起来不难。如果实现都不愿意实现，那么恭喜你这个repo帮你做好了。最后，实现normalization和dropout到底谁先谁后一直打得你死我活。Rethinking the Usage

大家都知道ResNet（所以下次培训机构在8888搞定resnet时候就别去了），但是其实那个ResNet这个玩意有很多很有意思的东西。不说多了，第一篇论文ReZero里面讲了一些对ResNet的改进，注意里面有个综述部分。相当好玩。第二篇论文更有意思，Rethinking Skip Connection with Layer Normalization考虑了一个其实很重要的问题，就是LayerNorm的问题。Batch Normalization的算法其实水很深，并且有时候能起奇效。最关键，这俩玩意

之前说过，研究比赛相关论文的可能是很好的。但是不见得好找。这里面稍微说一下吧。Kaggle大型比赛相对来说还是靠谱的，有些小比赛稍微有点诡异。Kaggle一般直接搜索就行。大部分会有kernel。Kaggle相对缺点是，比如说我关于Object Tracking，但不是每年都会有比赛。国内的话，介绍这个的，我看得不多。这个是不错的。目前国内公众号主要目前注水太多，好多公众号开始时候还不错，但是后来就。。。你知道的。会议会议的话，其实关于自己喜欢的领域就好了。还是说Tracking。比如说VOT这种

这两天吧，看到了很多奇事。先说说昨天开课吧某业界知名老师、中科院天才博士在讲主动驾驶算法选型时候的奇闻奇事吧。首先该老师表示自己所有论文只要三分钟就能读完，而且自动驾驶也没有几篇论文。所以应该先去arxiv找，然后如果选型，找个顶会就行了。估计不说以上多少错误啊，接下来一句话把我逗了了。我在评论里面说要注意顶会论文也不是都可以复现的，比如说nips里的论文都不一定能复现。老师回答是，你听不懂我话么？我说顶会，nips是什么东西啊？至于后来老师非要说服我中科院CV的博士都没听过nips的事情下个帖子再说。这

这个绝对是干货。Paper with code回顾

在某心培训中，最常见的一个广告就是所谓复现XLNet的。原意是，在面试一个小时中，如果你不能手打XLNet，那么你连基本功都达不到。所以换句话说，倒贴钱都没公司要你。这个广告造成极坏的影响。姑且不说，后面推荐课程课程一点帮助都没有，其实就是简单的优化理论。我们先说一下XLNet复现为啥不可能。我们先看XLNet源码。先看这个文件。自己看看多长，我记得打印出来是四十页。四十页一个小时老师能打完我都不相信，更不用说复现。再说一个更关键，大部分顶会论文不会把所有细节都放出来，比如说这段代码flags.DE

一般来说，矩阵求导到两个向量还能做，否则的话就没法定义了。这导致深度学习推导后向传递公示的时候，都先拉直然后在说。比如说这个CNN的推导。这里还比较幸运，还是能折腾出来的，等到RNN就不好办了。其实借用于微分几何的方法，可以定义一套很简单的办法。这套办法在这里肯定写不清楚，所以我上传到我的资料去了。最后说一下，为什么要学这个。面试在大部分实现中，AutoGrad都不太好，所以自己能写出来能大大加速。...

如果你觉得只是!pip install git+...那就中计了。虽然显示着安装成功，但是加入之前他已经安装了这个软件，那么你必须把这个卸载掉再安装。比如说，如果我运行!pip install git+https://github.com/rwbfd/jax.git@master虽然显示安装成功，但是实际上还是会用原来的jax（因为jax已经在其中装好了）。所以办法很简单!pip uninstall jax -y!pip install git+https://github.com/rwbfd/

之前总是有人问我关注哪些公众号，其实很不幸的是，国内大部分公众号都是很旧的算法。当然有些人说，这是因为不好落地，然后给一大堆高大上的理由。这话非常侮辱人，无非就是说，看我公众号的都是些只会git clone的，新算法都看不懂的小白。可是说句实话，好多看公众号的，不见得比公众号的差，甚至比公众号高一个档次。那么这里正好最近研究到Object Tracking。这个任务相当复杂，可以看这个综述。但是好多paper都是吹牛很大，所以怎么办呢？找比赛。优先找Kaggle，因为毕竟Kaggle很多dirty tri

大概关于AI最常用的说法就是AI来自于人脑科学推进了AI的发展，所以AI比传统统计学要好。这是我最讨厌的说法，而且也是最容易导致误解的。原因很简单，我们其实对人脑还不太了解。要了解人脑真实的过程，需要很侵入式的实验（还不一定能搞清楚其中机制），感兴趣的，自己去看怎么给猩猩做实验的。我们研究Neural Economics的时候，大部分也就能看个fMRA。换句话说，我们都不知道人脑具体决策，咋人工智能主要推动就是人脑了呢？另外一个更关键的，其实是motivation和效果的问题。讲个故事，当年Kolm

前一段时间，几位国内头部厂商号称自动驾驶专家的人物，表示自动驾驶其实很好解决，只要把物体在哪儿搞清楚，无非就是加速和方向盘而已。我就不说这些企业是什么了，总之要命的别做这种车。为什么：原因很简单，因为对应的前置任务是有限度的，并且难以提高。以Object Tracking为例，在简单的地铁中，旷世通过各种骚操作做到了80%。看起来还可以，但别忘了，公路上的物体比这个复杂的多，所以我要拍脑袋，那正常达到60%就不错了。打个不恰当的比方，我从a地走到b地，如果我眼神没问题，大部分都可以走，但如果我眼神有问题

TPU本身非常擅长处理transformer类的结构，而且可以白嫖（Colab）。HuggingFace Transformer本身是Transformer结构中最重要的库。但是他们使用的是自己的trainer，API经常改变。导致如果你要加一些自己的训练trick就比较困难。所以目标是用PyTorch Lightning跑Hugging Face的Transformer。并且要求是在TPU上。代码在这里。别忘了把runtime改成TPU。注意目前来说，TPU训练还是完全没有达到很好的效果的。相比.