- 博客(69)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Model-based Reinforcemet Learning
从目前来看，当初所说的各种酷炫的RL算法很有可能（至少在经典问题上），被model-based方法取代。目前一个很强的算法是dreamer，而且他可以很好的扩展，建议大量读他相关论文。在这方面，如果需要一个初级介绍的话这个博客非常好。...
2021-01-15 11:08:33
233
1
原创 虽说中国是礼仪之邦，但是这个礼看来还是没有几个人学透
今天搬新家。特意测试了一下钢琴。然后两个邻居听到了，他们的目的都是觉得声音太大要小点声。邻居一：您好，诶哟，您这琴弹的真好，我能进来坐坐么？您是做什么的？啊，一般学钢琴一边做数学，那您太厉害了，以后能教我小孩么？诶，那太谢谢了！就是吧，您这里吧，虽然弹的是特别好，但是吧，我老婆怀孕着呢，有时候呢，她得休息，尤其难受的时候。要不您看这样成不，我留您微信，要是我老婆啥时候需要休息给您发个消息，我们都互相照顾一下可以么？邻居二：草尼玛b，你不知道我老婆休息啊～你麻痹不弹你家里能死啊～（老婆往上冲）我孕妇我随时
2021-01-10 00:29:20
814
3
原创 关于所谓强人工智能
有人说数理逻辑+深度学习就等于强人工智能。但是说句实话，这些都是概念。我理解数理逻辑在其中的作用。如果感兴趣的，可以看这本书。但是说句实话，真正逻辑推导能做到很好是很难的一件事情，并不用说跟深度学习模型结合。但是也不是说没有做的，或者该领域就没有意义。这篇文章是我感觉做的最扎实的。可以看看他的后续工作。...
2021-01-08 15:46:41
196
原创 关于PyTorch XLA的问题以及为啥现在开源代码都要拼手速
PyTorch和TF在处理TPU训练上有一个明显的不同，那就是PyTorch缺少steps_per_execution这个参数。简单来说，TF可以一次喂给TPU一堆东西，而PyTorch XLA不可以。前两天，刚刚提了这个bug。得到回复知道怎么修了，结果人家官方有个人18个小时提出来了。Anyway，这段代码是核心：from __future__ import divisionfrom __future__ import print_functionfrom six import iterite
2021-01-07 22:58:14
1546
2
原创 Jax Entmax Alpha激活函数
这篇文章介绍了一个叫做EntMax-α\alphaα的激活函数。当α=1\alpha=1α=1时，该激活函数成为了softmax，而α=2\alpha=2α=2时，则为sparsemax。这个研究在NLP领域倒是没有掀起什么风浪，但是在表格化挖掘却因为TabNet火了。把这个作为例子，是一个很好的jax的使用练习。代码在这里。还在优化中。一些flax和jax的补充在并入到官方之前，可以在我的github找到。绝对不保证实践正确。Use with caution。不管怎么说，代码在这里。import
2021-01-07 22:25:12
1108
原创 Vector Meausre, Mackey Topology和Dunford-Pettis Property
一般来说，近十年出的数学论文多少都是很难读懂，而且很多时候不一定很有借鉴价值。这倒不是因为结果不好用，而是因为工具太复杂了。我最近看了一篇论文，这篇论文讲的题目如图。可以说，这是我见过的最好的一篇十年类的论文。他把几个很重要的东西放在了一起。Mackey topology。基本上Weak Topology等价于Mackey Topology的时候你的证明就完成了。Dunford-Pettis。达不到compact的时候（即使在很弱的拓扑），Dunford-Pettis基本就代替了compactnes
2021-01-06 13:00:38
261
原创 （转载）增强学习一个很好的汇总
废话不说，上链接。[下载地址]如下。(https://www.jair.org/index.php/jair/article/download/12412/26638)
2021-01-05 21:09:38
167
1
转载 （搬运）Triplet Loss Mining：介绍实现
Triplet Loss Mining从最广义的角度来说，就是说每次训练逐渐训练越来越困难的样本。多余的不说。这个介绍和这个代码可以尝试。其实这个idea可能不仅仅适用于triplet loss。很期待有人能进行实验。...
2021-01-04 17:09:00
348
原创 如何区分真大佬和伪大佬
中国大概99%的都是伪大佬吧，伪大佬自称神，自称巨佬，自称远古巨神等等，但是说句实话，大部分恐怕都没接触过大佬圈。要区分很简单：伪大佬很喜欢自我抬高，每天到处写博客发自己的东西，显示自己实力高强；真大佬最怕自我抬高，因为到处来一帮想白嫖的；伪大佬闲，闲的体现就是大量的时间做宣传自己的事情；真大佬你发他邮件未必有时间理你；伪大佬喜欢盗用别人成果，比如说明明是谷歌的，伪大佬会说我自研的啥啥啥；真大佬从来不敢盗用，在学术圈臭了就不用混了；伪大佬看不起别人，认为回答别人问题是耽误自己时间，不如给自己造神
2021-01-04 10:42:30
1692
1
原创 关于印度外包的情况：以及坐井观天的危险
我知道网上对于所谓阿三的外包问题一直是觉得特别简直是low到极点，知乎上还有大佬专门diss印度外包。但是另一方面，从外包市场来说，像中国的头部外包，姑且不说又贵又不好用，姑且不说英语不好所以不被美国用，我们再去掉所有政治因素。如果公平比较，我觉得大部分大厂的大牛可能打不过印度的高年级本科生。我来说说昨天发生了一件什么事情，我昨天联系外包的时候，突然被一个印度的学生（本科生三年级），说想接点外包的活。来自于Indian Institute of Science。一直跟我聊说老板给个机会，一直跟我聊说
2021-01-04 09:32:49
3229
4
原创 加缪的一个介绍和现在打工人的状态
目前接触了很多高端打工人，感觉大家生活在社会主义的极端幸福当中，已经工作起来没有时间休息了。稍微了解了一下大家的世界观。感觉大部分如果非要说接近什么的话，那就是减价促销版的叔本华+尼采吧～实际上，感觉如果还有一个选择可以了解一下：加缪。你喜不喜欢另说，最最近在油管上找到了一个不错的东西。搬运过来了。打工人还是建议看一下的。心急的，直接去这里吧：https://youtu.be/_js06RG0n3c...
2021-01-03 19:23:59
191
原创 关于泛函分析几何部分的推荐
Rudin的书是经典。但是Rudin的书有几个问题。证明很多不好。有的是写的太长。比如说Banach-Alaoglu，明明一个Ultra Filter直接两行搞定，写了一大堆。推广性不好。关于对偶和重对偶，Rudin的体系好像感觉这俩完全不是一回事。其实是一回事。习题过于简单。当时Leiden博士做的时候，大概30分钟一道课后题；我的话，比较慢，2小时差不多也做出来了。对于研究生来说，这个难以程度不好。目前对于几何部分，非常好的一本书，但是很少有人看的，是Schaefer。这本书比大部分很近的号
2021-01-02 08:44:15
610
原创 关于batch norm
BatchNorm大家都知道，但是最近实验发现，这玩意的影响比想象大得多。比如说有人发现TabNet的实验，如果BatchNorm实现错了，整个训练最后就会崩。这方面有两个资料。Four Things Everyone Should Know to Improve Batch Normalization相当好玩，实现起来不难。如果实现都不愿意实现，那么恭喜你这个repo帮你做好了。最后，实现normalization和dropout到底谁先谁后一直打得你死我活。Rethinking the Usage
2021-01-02 08:24:13
192
原创 关于Residual Connection
大家都知道ResNet（所以下次培训机构在8888搞定resnet时候就别去了），但是其实那个ResNet这个玩意有很多很有意思的东西。不说多了，第一篇论文ReZero里面讲了一些对ResNet的改进，注意里面有个综述部分。相当好玩。第二篇论文更有意思，Rethinking Skip Connection with Layer Normalization考虑了一个其实很重要的问题，就是LayerNorm的问题。Batch Normalization的算法其实水很深，并且有时候能起奇效。最关键，这俩玩意
2021-01-02 08:17:42
475
原创 找比赛相关论文的一些废话
之前说过，研究比赛相关论文的可能是很好的。但是不见得好找。这里面稍微说一下吧。Kaggle大型比赛相对来说还是靠谱的，有些小比赛稍微有点诡异。Kaggle一般直接搜索就行。大部分会有kernel。Kaggle相对缺点是，比如说我关于Object Tracking，但不是每年都会有比赛。国内的话，介绍这个的，我看得不多。这个是不错的。目前国内公众号主要目前注水太多，好多公众号开始时候还不错，但是后来就。。。你知道的。会议会议的话，其实关于自己喜欢的领域就好了。还是说Tracking。比如说VOT这种
2021-01-02 08:11:17
159
原创 初学者能不能学不是问题；问题是非学习者能不能学
这两天不是一直在搞开课吧诈骗的事情么？当时有两个人听了以后找了我，一个说你说的好，这老师连自动驾驶车的硬件包括啥都说错了，我早就想骂了，我现在就退课。另外一个说，你说的好，这人就是个骗子，但是我还是想听下去。这就比较奇怪了，这是一个学生，6800八节课听一个假老师讲课，之后还要几万的费用听后续，这是家里特有钱要洗钱么？或者是初学者听一点十一点？后来聊了两句，明白了。这人是我所谓的非学习者。啥叫非学习者呢？简单来说，没脑子。但这话太难听，我说了还得道歉。那咱们这么来分析一下。学习需要啥？脑子。脑子体现在哪
2021-01-01 23:12:12
160
原创 当傻子的最好办法： 把别人当傻子
虽然说难得糊涂吧，但是说句实话，要是我当面骂人傻子，估计会被砍全家。可是呢，把别人当傻子这事情可是很爽的。但是好歹老天还是有眼的，我今天要说的是，把自己变成傻子的最好方式就是把其他人当成傻子.我小时候有一次和小朋友演出钢琴，听的基本是家长。那时候谁家有个钢琴都是值得吹一年的，更不用说听过古典音乐。所以一小孩儿特紧张，于是我就安慰说，“没事儿，大家都听不懂”。结果，我被我的老师狠狠的骂了一句。当时她说的最后一句话就是，如果你抱着这个想法去，最后你就只能给猪弹琴。我刚开始没理解这句话有多重要，只是觉得老师
2021-01-01 22:49:53
404
原创 如何读AI论文
这两天吧，看到了很多奇事。先说说昨天开课吧某业界知名老师、中科院天才博士在讲主动驾驶算法选型时候的奇闻奇事吧。首先该老师表示自己所有论文只要三分钟就能读完，而且自动驾驶也没有几篇论文。所以应该先去arxiv找，然后如果选型，找个顶会就行了。估计不说以上多少错误啊，接下来一句话把我逗了了。我在评论里面说要注意顶会论文也不是都可以复现的，比如说nips里的论文都不一定能复现。老师回答是，你听不懂我话么？我说顶会，nips是什么东西啊？至于后来老师非要说服我中科院CV的博士都没听过nips的事情下个帖子再说。这
2021-01-01 22:27:21
518
1
原创 关于某个复现XLNet的广告文案
在某心培训中，最常见的一个广告就是所谓复现XLNet的。原意是，在面试一个小时中，如果你不能手打XLNet，那么你连基本功都达不到。所以换句话说，倒贴钱都没公司要你。这个广告造成极坏的影响。姑且不说，后面推荐课程课程一点帮助都没有，其实就是简单的优化理论。我们先说一下XLNet复现为啥不可能。我们先看XLNet源码。先看这个文件。自己看看多长，我记得打印出来是四十页。四十页一个小时老师能打完我都不相信，更不用说复现。再说一个更关键，大部分顶会论文不会把所有细节都放出来，比如说这段代码flags.DE
2021-01-01 09:37:43
417
1
原创 2021年新年快乐：放心吧，2021年不会变好的
看到满屏幕的2020年新年快乐，突然有一种悲凉。说句实话，2020年打垮我们的，有病毒，但是更多是我们自己。我们庆祝病毒的时候，别忘了谁因为暴露消息被抓起来，别忘了哪些大厂惦记着老百姓的菜篮子而不是科技创新，别忘了谁拿着用户的钱去贷款然后导致房客房东反目成仇，别忘了哪个房地产欠了8000亿和4000亿还说不买房子就不爱国，别忘了多少培训机构把让学生贷款上几万的课，可是老师连nips是ai的顶刊都找不到。在这背后，都有一个逻辑，那就是别人傻，别人弱，我要占便宜。刚才去买鸡爪，看着一边一群人发着新年快乐
2021-01-01 00:47:08
477
1
原创 培训机构的底线：请问中科院的所有CV博士生都不知道NIPS么？
最近在开课吧上了一个自动驾驶课，老师号称中科院博士，又有创新又有论文，并且还在业界是大牛。各种错误就算了。我提到nips，告诉我nips不是顶会。我问助教解释，助教表示中科院做CV的都不知道nips，这非常正常。烦请各位传达给中科院的老师，是不是博士生连nips都没听说过是件正常的事情？我非常想确认一下。...
2020-12-31 22:45:11
350
原创 关于AI理论的问题
经常有人问我AI理论有啥。其实很难有一套系统的理论，不是说AI理论没用，而是目前大家还在探索阶段。好多人说看不懂老顾的文章，其实这方面还有难得多的paper，最典型就是Le Cam理论，比如说看这个。实际上，这里面要求大量所谓抽象数学。我刚开始只是想做一个讲座把这个课讲明白，后来想想看，干脆出一套免费的AI理论数学班吧。包括两套东西抽象部分具体部分抽象部分比较多，主要是讲几何、代数和高级的随机分析。比如说会讲一般的对偶理论（不是Rudin那么简单的），Banach Lattice，黎曼几何，算子
2020-12-31 10:04:07
276
原创 关于张量求导的事情
一般来说，矩阵求导到两个向量还能做，否则的话就没法定义了。这导致深度学习推导后向传递公示的时候，都先拉直然后在说。比如说这个CNN的推导。这里还比较幸运，还是能折腾出来的，等到RNN就不好办了。其实借用于微分几何的方法，可以定义一套很简单的办法。这套办法在这里肯定写不清楚，所以我上传到我的资料去了。最后说一下，为什么要学这个。面试在大部分实现中，AutoGrad都不太好，所以自己能写出来能大大加速。...
2020-12-31 09:56:54
289
原创 Colab如何从github上安装库
如果你觉得只是!pip install git+...那就中计了。虽然显示着安装成功，但是加入之前他已经安装了这个软件，那么你必须把这个卸载掉再安装。比如说，如果我运行!pip install git+https://github.com/rwbfd/jax.git@master虽然显示安装成功，但是实际上还是会用原来的jax（因为jax已经在其中装好了）。所以办法很简单!pip uninstall jax -y!pip install git+https://github.com/rwbfd/
2020-12-31 00:31:22
1156
1
原创 Object Tracking今年VOT2020 Chanllenge的结果
之前总是有人问我关注哪些公众号，其实很不幸的是，国内大部分公众号都是很旧的算法。当然有些人说，这是因为不好落地，然后给一大堆高大上的理由。这话非常侮辱人，无非就是说，看我公众号的都是些只会git clone的，新算法都看不懂的小白。可是说句实话，好多看公众号的，不见得比公众号的差，甚至比公众号高一个档次。那么这里正好最近研究到Object Tracking。这个任务相当复杂，可以看这个综述。但是好多paper都是吹牛很大，所以怎么办呢？找比赛。优先找Kaggle，因为毕竟Kaggle很多dirty tri
2020-12-30 16:25:10
669
原创 为什么讨厌所谓仿生AI的说法
大概关于AI最常用的说法就是AI来自于人脑科学推进了AI的发展，所以AI比传统统计学要好。这是我最讨厌的说法，而且也是最容易导致误解的。原因很简单，我们其实对人脑还不太了解。要了解人脑真实的过程，需要很侵入式的实验（还不一定能搞清楚其中机制），感兴趣的，自己去看怎么给猩猩做实验的。我们研究Neural Economics的时候，大部分也就能看个fMRA。换句话说，我们都不知道人脑具体决策，咋人工智能主要推动就是人脑了呢？另外一个更关键的，其实是motivation和效果的问题。讲个故事，当年Kolm
2020-12-29 20:20:33
284
1
原创 为什么自动驾驶不能随便写个人工规则就好
前一段时间，几位国内头部厂商号称自动驾驶专家的人物，表示自动驾驶其实很好解决，只要把物体在哪儿搞清楚，无非就是加速和方向盘而已。我就不说这些企业是什么了，总之要命的别做这种车。为什么：原因很简单，因为对应的前置任务是有限度的，并且难以提高。以Object Tracking为例，在简单的地铁中，旷世通过各种骚操作做到了80%。看起来还可以，但别忘了，公路上的物体比这个复杂的多，所以我要拍脑袋，那正常达到60%就不错了。打个不恰当的比方，我从a地走到b地，如果我眼神没问题，大部分都可以走，但如果我眼神有问题
2020-12-29 01:07:31
2394
5
原创 如何用PyTorch Lightning跑HuggingFace Transformer（TPU）
TPU本身非常擅长处理transformer类的结构，而且可以白嫖（Colab）。HuggingFace Transformer本身是Transformer结构中最重要的库。但是他们使用的是自己的trainer，API经常改变。导致如果你要加一些自己的训练trick就比较困难。所以目标是用PyTorch Lightning跑Hugging Face的Transformer。并且要求是在TPU上。代码在这里。别忘了把runtime改成TPU。注意目前来说，TPU训练还是完全没有达到很好的效果的。相比.
2020-12-29 00:58:15
1097
2
Tensor求导法则
2020-12-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人