自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数学AI钢琴健美和乒乓球

纯干货不bullshit的数学AI钢琴健美和乒乓球介绍

  • 博客(69)
  • 资源 (1)
  • 收藏
  • 关注

原创 翻译文档

下面是关于Foundations of Modern Probability和Asymptotic Methods in Statistical Decision Theory的翻译说明。翻译地址(目前为只读):Foundations of Modern Probability;Asymptotic Methods in Statistical Decision Theory;建议采用Mathpix Snip将原文正文和公式进行OCR识别后,再进行翻译;请将原文作为注释形式,以段落为单位留在Late

2021-05-23 22:18:49 337

原创 本博客到底是关于什么的

博客内容本篇博客内容主要是提供一个no-bullshit的AI和数学相关内容博客。其主要内容包括一些真正有用的paper复现结果。一些常见的错误。一些真正一些资源(而不是传来传去的废话,比如BERT的第10000880次介绍)。一些重要的数学方向。打假。我之所以要写这个博客,原因是我实在无法忍受现在大部分博客的情况:大量的中文材料有大量的错误。有些是互相抄导致的,有些是自己就没看明白。一些所谓的业界大牛,连基本的概念都没搞清楚就过来胡说八道。我已经见过无数次的所谓的业界大牛看pape

2020-12-28 22:50:57 944 8

原创 健身最好的办法:芭蕾和体操

最近一直在琢磨健身的办法。除了举铁之外,发现还有很多东西都可以提升自己。目前我尝试的一堆东西中,似乎最好用的就是芭蕾和体操了。和很多人想象不一样,芭蕾和体操对于全身的锻炼是很少有运动可以达到的。甚至可以这么说,能坚持下来的,绝对都不是一般人。当然,这个是需要你每天做的。关于芭蕾有一点我要说明,就是中国对于柔韧性的崇拜。柔韧性是个很危险的东西,我们希望的柔韧性是拉长肌肉而不是所谓的韧带(虽然韧带势必变长)。可惜很多研究表明,所谓的拉伸最后不但没有拉长肌肉和韧带,反倒是导致痛觉的下降,换句话说,受伤都不

2021-10-30 14:23:51 301

原创 头疼脑热的一天

说句实话,今天看了一天paper,也不知道看出来了个鬼。一直想研究在Transformer架构上怎么能搞点trick出来。看了Switch Transformer,得到概念基本也就是那些。目前看来要是再去看的话,恐怕就只能看CV了。一堆其他设计当然也可以尝试,最近居然还出现了一个Transformer-in-Transformer,不过似乎还是CV。至于RL,基本上各种attention网上怼。我还是没太明白这里面的一些基本脉络。...

2021-10-28 18:22:37 242

原创 一些乱七八糟的关于RL和RS的调研

Overleaf, Online LaTeX Editorhttps://www.overleaf.com/read/fwptsnbcvkcg大部分写到这里了。说句实话,RS这边感觉很难(可能是我太菜了)整理出来一个脉络,基本上大家都可以自己讲一个自己的故事就完毕了。从网络设计上来看,很难找到一个通用的trick。我明天继续搞。...

2021-10-27 18:50:40 311

原创 AC和Zorn‘s Lemma的另外一个证明

今天花了几个小时时间读了很爽的证明,就是关于AC和Zorn's Lemma的。先贴一下地址吧。On the Bourbaki’s fixed point theorem and the axiom of choicehttps://arxiv.org/pdf/1905.09782.pdf当然了,这个文章写的有点糙,好多定义没有给(大汗),但是这个证明是非常优美的。个人认为,如果是想要真的做数学的,第一个就可以尝试着找到AC和Zorn's Lemma定价性的各种其他证明。原因很简单,这里面没有什么特别复杂

2021-10-18 19:02:05 209

原创 RS脑洞及论文集锦

最近本江湖骗子写本子写多了,但是突然发现RS的东西还是挺好玩的。这里面有很多东西我都没有意识到。在这种情况下,因为CSDN写起来太散了。我干脆建了一个Latex文档用英文写。RL脑洞集锦https://www.overleaf.com/read/fwptsnbcvkcg...

2021-10-15 06:06:13 131

原创 Concentration of Measure

今天的话因为懒得读paper就介绍一篇关于数学的内容吧!今天的一本书是Ledoux写的Concentration of Measure. 这本书从某种意义上来说,是Talagrand和Ledoux多年以来研究的两个最重要的成果之一。原书的话在这里。当然,Ledoux这本书的特点就是他证明不等式的方法往往是通过一些很清奇的方法,而不是修修补补。这本书非常好读,而且非常符合传统的这种教材的方法。作者不是上来就一坨不等式扔给你,而是从一个个小的定理出发,展现出这些定理的作用之后,再把所有的推导核心均放在一

2021-10-14 15:13:39 389

原创 比较水的一天:看了两篇联邦学习的内容

今天一天整体比较水,主要是需要赶一个本子,所以大概看了两篇联邦学习的东西。说句实话,我对这个领域真的不是十分了解,但是从个人感觉来说,除去密码学的东西真的不懂,整体来说,我感觉还是在一个比较宽泛的设定下,研究怎么把各种成熟方法搬过去的学科。学术上大家关不关心我不知道,但是整体来说,应用上最近国家似乎要搞实验导致很多类似的要求。SecureBoost: A Lossless Federated Learning Framework是个人感觉最实用的,也是写的很清楚的一篇文章。大体来说,这篇文章好就好在作者

2021-10-09 12:32:08 398

原创 几篇很神奇的文章

Ffjord虽然是很老的一篇文章,但是这个想法真的很惊艳。这里面最惊艳的大概就是把Normalizing Flow做成了连续形式,然后根据一个ODE的解法来进行。对于数学基础好的同学,这里面最重要的可以学习的是关于处理复杂度的处理,和Performer能学到的东西很类似。BYOL是一个非常有意思的文章。在我印象中,例如基本依赖于负样本,类似于Triplet Mining。在相当的时间里面,我一直认为Constrast Learning的主要目的还是引入负样本。但是这篇文章告诉你,其实引入负样本反倒是不靠

2021-10-08 20:00:00 387

原创 完整的俄罗斯芭蕾课

我终于终于上了一个完整的俄罗斯芭蕾课。用了一年时间。说句实话,这个老师吧不是十分正统。或者这么说吧,她野心很大。这里给大家讲个故事你就知道她有多狠了。以下是原文:我小时候脚指甲往肉里涨。当时有钱的家长都每天领着自己的孩子去修脚。我没有这个钱,但是我听说你可以逼着脚指甲往上长,方法是把脚指甲往上拉。我就每天用针扎进我的每个脚指甲缝里面,然后往上翘。我现在还有视频,一会发给你。后来连着扎了一年,以后我就再也没有这个问题了。这么狠的人对自己学生也巨狠无比。别人一般12岁上足尖鞋,她的学生一年就

2021-10-01 23:24:24 434

原创 ResSys综合github库方向

大概今天下午都在吹NB。大体来说,想把之前的一些项目都出来。所以呢,就做了这么一个库。GitHub - rwbfd/SmartRechttps://github.com/rwbfd/SmartRec大概来说,大部分研究性质的都会放在私有库知道paper成型。但是通用的一些东西已经会放出来了。里面东西很多,其中Offline RL和Representation部分还在写。今晚会更新第二版。懒得到时候再写CSDN了。所以现在先放出来。...

2021-09-30 19:39:17 189

原创 芭蕾、体操和乒乓球的神奇转换力量

我个人绝对不是健身狂魔,也不是健身房当中那种“我在健身房当中没有对手的人”,可是今天我发现了几个非常神奇的事情。这些只是个人的经历,但是也许对于健身的人来说有帮助。芭蕾和体操对于腿部力量的提升可能是世界上最有效的目前我大概仅仅坚持了三周左右。每天两个小时芭蕾和体操的训练(具体的方法还在调整)。我向来认为我腿部力量是很弱的,至少跟那种腿看起来跟青蛙一样的人来比根本都不可以比。但是芭蕾和体操目的不是塑形。事实上,在我跟很多顶级体操运动员(肖若腾,奥运会银牌获得者;Ellen,东京奥运会体操评委)的交

2021-09-29 22:23:25 446

原创 网络钢琴课内容建议征集

有幸受邀一名朋友制作网课。每周一更新。包含钢琴技巧、乐曲分析、作曲理论和歌唱。烦请各位看一下这里面的目录是否合适。钢琴课提纲本钢琴课分为以下几个部分。基本钢琴常识; 乐谱基础; 钢琴核心技巧及练习方式。 和声学、对位法、配器法和曲式分析。 基本歌唱技术、视唱练耳方法和视奏训练。 重点曲目分析。基本钢琴常识理解钢琴的前世今生; 当代钢琴的机构及如何科学的利用钢琴技巧进行演奏; 知名的钢琴教育家及必读材料; 学习钢琴的路径;如何成为一个综合的钢琴家; 钢琴家如何进行准

2021-09-29 18:57:10 350 2

原创 RecSys继续看热闹

说句实话,RecSys还真是一个挺有意思的领域。大部分paper的话非常容易去读,因为大部分思是通用的;另外结构化数据集这个也是比较有挑战的。此外,我发现很多人在发paper的时候都会借助于其他领域的思想。当然,这是不是纯粹为了创新而创新咱不说,但是确实很让我开阔眼界。Self-supervised Graph Learning for Recommendation这篇是我觉得最有意思的。个人感觉大体来说,思路是用Random Dropout模仿NLP的Mask;紧接着用Contrast Learnin

2021-09-29 16:12:23 205

原创 记一次很难忘的钢琴课

Olga Scheps和我的关系如果说今年最幸运的一件事情,除了为了公司贡献了青春以外,那就是认识了Olga Scheps。Olga Scheps是谁呢?在我看来,她是年轻一代女钢琴家的最优秀和最有特点的。说白了,她是我的女神。Olga是一个什么样的钢琴家呢?首先她是一个极端善良的人。今年家父去世的时候,我想开一次几年音乐会,所以邀请她来参加。当时的时间是德国凌晨3点到5点。她不但参加了,而且哭了。就Olga的演奏来说,她是很特殊的一名钢琴家。我接触的大部分钢琴家都是非常理性的,演奏靠的

2021-09-28 23:35:37 371

原创 芭蕾挑战(FLAG)第一天

在今年过年的时候,因为本卢瑟既没女朋友也没有啥,所以唯一办法是上课。在这里认识了几位非常好的芭蕾老师,于是就上了瘾。最近开始每天6点到8点开始做体操和芭蕾的训练。这几个月减了30斤的体重。所以我们来个芭蕾一百天挑战吧。每天(不出意外)做一次这个。目前内容在这里。链接: https://pan.baidu.com/s/1EQpLC_ubCLbjJ6BNUGbT8A 提取码: 77dj--来自百度网盘超级会员v7的分享大家可以尝试一下。这是第一天照片。顺便说一句,在这里我必须得感谢一下我.

2021-09-28 22:00:00 199

原创 推荐系统一个吹NB的方法

这几天大概一直在看推荐系统的东西,主要目的是为了写本子。有一个很幸运的事情是,有一名大佬已经把一些值得看的东西都拿了出来。这里就是RecSys必看论文。当然,RecSys还是很有意思的。虽然我必须得抱怨一句,RecSys的好多conference不让下载,这也是挺奇葩的。不过整体来说,这里面还是很少的有很多有趣的网络设计的地方,而且还有很多的想法。我发现几个有意思的趋势。首先大部分RecSys的网络设计其实是很有意思的。在这里面,阿里的论文似乎是最有意思的。比如说吧,这个图:...

2021-09-28 14:30:45 365

原创 留坑待填:关于一些常见的中国钢琴教育的问题

在前一段时间里面,见到了一位文g留下来的奇人。这位老太太自己有个姑娘,跟“所谓中国著名的,世界上最好的教小孩的老师学过“,于是录了这么一个视频,为自己所谓的琴童生涯做了一个终止。视频在这里:一位琴童的演奏。我一直不想去批判别人,因为毕竟每个孩子学琴都是不容易的。但是这里面出了几个很严重的问题,我觉得我有必要做一个视频说一下。家长和孩子的评估过于自信。所谓“我听了感动所以谁都不如我”。 家长和孩子对别人的评价极端恶毒。所谓“朗朗就是个猪头”,“谁是霍洛维茨,我就觉得张昊辰好,别人我听都听不了”,

2021-09-27 23:02:42 226

原创 Lucien Le Cam的书籍和理论

如果要问二十世纪最伟大的统计学家是谁,大部分的回答不会是Fisher或者Wald,而是Lucien Le Cam。从最近开始我会组织一些同学去翻译Le Cam的大作Asymptotic Methods in Statistical Decision Theory。所以不妨现在就对这部分内容做个简介。这本书的内容从统计学角度来说,最难的问题基本上是三个:1. 如何评价统计决策手段的效果;2. 在这个评价体系之下,最好的界是什么;3. 知道最好的界之后,我们是否可以达到。虽然Le C

2021-09-27 15:12:58 471

原创 一个初中家长的困境

本来不想就减肥的国家大业说什么的,可是吧昨天回到哈尔滨遇到了之前的乒乓球教练,他的孩子今年初三(哈尔滨初四中考)。孩子本来学习还是不错的,但是现在掉到了全学年100名左右。对于不知道背景的读者,我们不妨简单说两句。在哈尔滨,大概只有哈尔滨三中和哈师大附中才能保证上比较好的一本。而市重点之类的学校,基本上能过一本线的都寥寥无几。要进哈三中和师大附中,基本上要进到2%的名次。这家长本来想假期好好补补课,可是呢,现在来了减负令,于是家长就问了一个问题,我到底该怎么干。这个问题看似简单,可是却真的难倒我了。周围

2021-08-12 11:48:41 337

原创 7月16日论文推荐;以及求助RL论文

说句实话,今天两个小时就看了三篇论文。一个小时看的是摘要,还有一个小时看得是数学推导。我个人对研究一点感觉都没有,所以说了千万各位老大不要拍我,但是感觉目前RL,尤其是DeepMind的研究越来越从实用算法比较进入到数学推导了。并不是说数学推导不好,但是作为一个没有追求的人,的确是想看看RL算法当中一些实用的内容。On The Effect of Auxiliary Tasks on Representation Dynamics的思路还是很清奇的。从整体来说,这篇文章主要考虑的是从数学角度看Auxil

2021-07-16 18:00:33 262 1

原创 7月15日:paper推荐

这段时间一直很忙(懒),所以就没写paper。今天开始一定要开始写!(然后明天就放弃)。Vector Quantized Models for Planning是一篇特别有意思的paper,因为之前DreamerV2就是把复杂的问题改成离散化,结果效果巨好。这一篇可以说是以这个为基础的。Return-based Scaling: Yet Another Normalisation Trick for Deep RL这篇很有意思,原因是他想法很简单,但是解决了一个很复杂的问题,就是RL当中的Retur

2021-07-15 18:12:36 241

原创 这一段时间的反思(2021-06-22)

找一个别人都觉得很难的东西,一直做下去,当别人都放弃的时候你就成了大牛了这话没问题,但是问题是怎么一直坚持下去才是最难的。对我来讲,我想有几个点:1. 找到一个你向往的事情。如果这一周跟下一周没有任何值得期待的东西,估计意志力再坚强的人也坚持不下去。2. 假设你有十件事情,本来安排每件事情一个小时,结果当天只剩下一个小时了怎么办?简单,每件事情做6分钟。一旦一个习惯被停掉,之后想要捡回来是很难的。大部分的时间和金钱是浪费掉的很不幸的是,当我回顾这一段时间里面我的精力和金钱的投入,大部分的

2021-06-22 15:55:08 541 1

原创 活久见系列:关于袁老的事情,还是说两句吧

袁老去世的消息相比大家都知道了。说句实话,我想过发点东西的。作为一个自称的科研人员,可惜我无论从农业学、历史学还是政治学角度,我连理解他的贡献的能力都没有。对于自己的无知过于惭愧,只能表达自己敬意,算是微薄的一点贡献吧。本来不想看相关舆论的,可是吧,我这人就这么贱。说句实话,如果说孔老二给大家留下来了任何一点值钱的东西,那就是对师的尊重,或更进一步来说,对知识的尊重。我在高中时候,有幸遇到一名非常好的老师。他在课堂上怼一个读书无用论的学生讲过一段话:你们知道1000年前最有钱的人是谁么?你们知道10

2021-05-25 22:42:02 1801 3

原创 关于黎曼几何初学者的踩坑经历

说句实话,微分几何部分一直是我心里面的痛。从抽象的数学角度,一般来说泛函分析牵扯的一堆东西常常是被认为最“抽”的。泛函分析的一个最大特点就是,虽然内容很多,但是真正做起来往往证明都不长(虽然不简单,很考验创造力),而且章节独立性很强。就我个人而言,Schaefer的Topological Vector Space,Meyer的Banach Lattices还有Fell和Duran的关于*-representation的上下册,基本包含了传统泛函里面的大部分内容。这几本书的好处在于:这几本书多半都是sel

2021-05-24 21:21:15 1696

原创 新立flag:两本数学书的翻译

本来一直在翻译van der Vaart的Asymptotic Statistics,结果一直也没时间。最近稍微有一点时间了,然后发现这个坑已经被填了。幸运的是,目前还发现两本非常想翻译的书。第一本是Kallenberg的Foundations of Modern Probability。这本书的最大的特点是,几乎所有的证明都是非常优美的。这是唯一两本可以说每一个证明都可以学到新东西的书。现在终于出了第三版,作者居然又简化和优美了一些证明。这让我想起来了另一本多年以前希望翻译的书。这本被Prof.

2021-05-19 23:28:52 459

原创 2021-05-19 关于RL探索的一些论文

最近小伙伴在研究RL当中的encoder refinement,我就看了一眼exploration。有时候一个着不好用,可能得两个着或者三个着,不行还得马大师出面一下。先说我们的基础是DreamerV1和DreamerV2。这两篇文章细节相当复杂,但是相当有意思。我建议对Model Based RL感兴趣的同学仔细阅读一下。此外,在这个过程中,目前揪出来的encoding refinement相关的还有Normalizing Flow。大家也可以看看。关于Exploration,大概最主要的例子都是蒙特

2021-05-19 10:58:23 250

原创 2021-05-08论文

最近一直懒,没更新论文。虽然我向天发誓我论文一直在读的(天:我才不相信你呢)。总之最近要读的论文比较杂,主要是Contrastive Learning+Exploration in RL+Generation。想到哪里说到哪里吧。SimCLR估计大家都知道了,大体就是对于不同的instance之间做contrast,如图注意哈,这里面有两个有意思的东西,首先那个fff不要小看它,这个metric learning的思想会改变整体的效果;第二个就是他的batch size得超级大。为了解决超级大的问题

2021-05-18 20:22:29 373 4

转载 2021-05-07 找到了一个特别赞的RL训练技巧的合集

废话不多说,看这里。

2021-05-07 23:24:52 317 1

原创 2021-05-06论文摘要:酷炫的Skip Connection

之前说过每天大概要搞出来5篇paper,结果果然翘了。为了能够搞出来,现在我们就把这些任务放在CSDN上吧。事实证明,这个世界上有大一堆非常有趣的关于Batch Normalization,Skip Connection之类的东西。下面是几篇文章。ReZero这篇文章列了几个简单的方法。具体见图:如果这个不够酷炫的话,那么IC这篇就更有意思了。基本思路是加一个Whitening。一些其他关于Layernorm的讨论引发了这一堆各种各样的连接法关于这个,Facebook不太高兴,于是在训练更

2021-05-06 18:20:31 904 6

原创 关于机器学习岗位几个不恰实际的期望

最近在授课和工作的过程中,接触了一些入门机器学习的同学。客观来说,很多人在进入这个领域时候,第一个往往是“人傻钱多”。“人傻”这话当然是不能给领导说的,而且说句实话机器学习领域目前行内的傻子已经越来越少了。但是“钱多”这件事情肯定是有原因的,如果机器学习领域是三天半俗称月薪八万的话,估计我楼上菜市场都要关门因为大家全去阿里机器学习去了吧。当然了,如果基础差或者觉得距离远这件事情不是一件可怕的事情。可怕的是一些人对于机器学习,或者是工作这件事情有不切实际的想法,以至于自己虽然说自己很想要这个岗位,实际上却一

2021-04-01 12:26:58 1760 5

原创 关于CSDN路线图的说明和致歉

在年前,很有幸的参与到CSDN AI工程师学习路线图的制作当中。这件事情大体是年前一流科技的老师木联系我让我写一下AI工程师的一些进阶路线图。这件事情我很荣幸,但是也很忐忑,因为我相信我一定得罪了很多大佬,因为纯粹从技术上角度,我其实是没有资格出这个路线图的。如果真的要出这个路线图,可能一个人都不够,得是hinton,lecun这种大佬商量了很久以后出的。但是另一方面,目前有的一些路线图,至少在我看来,的确是很糟糕的。比如说NLP工程师路线图还是停留在TextCNN和BERT,那基本就意味着写这个的人可能真

2021-02-08 16:34:25 2050 3

原创 关于pytorch当中的model.eval()和requires_grad=False

在做Meta Learning的时候,经常需要将一些梯度后向传导停住在某些层。但这不意味着我仅仅调用required_gradient=False就可以了。在一些层,例如dropout层,用于训练和用于推断表现不一样。所以说一般建议的是用model.eval()方法。这个小错有时候能导致很大的困难,例如预测时候突然精度变得特别差。...

2021-01-28 09:41:43 1707

原创 如何“傍”大牛

先声明一下啊,这个标题纯粹是标题党。嗯,我先去死三分钟。死回来了,下面来说一下这个问题。简单来说,这篇博客要解决的问题是,如何想办法让真正有资格给你作出方向性指导的人。要说的比较多,各位看官别着急。如何定义“大牛”和“牛人”牛人很好定义。简单来说,但凡是我可以有可以跟着学的,并且这个东西是符合我三观的,都应该称之为牛人。不符合三观例如怎么漏肉之类。符合三观的可以很简单,比如说就是一个举手投足,比如说最近我见到的姜子牙的动漫组的人,哪怕能告诉你真正的方向,我们就应该称之为牛人。几千年前有个姓孔的山东大汉

2021-01-24 15:37:33 1103 2

原创 为了广大AI男的婚姻幸福,求求AI男们不要学习金融男好榜样了

最近三天,连续碰上了三个小姐姐求我介绍对象;一个是女神级别的身材和颜值的健身教练(北京获过奖),一个是中英德三国的同声传译,一个是中央院钢琴比赛国际获奖的,马上去中国音乐学院当老师的。当我热情的介绍我做AI的朋友的时候,三人都指明说,坚决不要AI男。所以AI男发生什么事情了呢?我在之前的时候,听到更多的是不要金融男。然后我又细聊了一下,我发现AI男其实越来越金融男化。当然这里所谓“AI男”或者“金融男”都只是标签而已,我本身特别反感给人打标签,因为我既是做AI的,又是在金融领域,我一下子占全了。幸

2021-01-20 12:38:39 1355 7

原创 那个数学课终于好了

还记得我超级不要脸自吹自夸的那个数学课么?经过bilibili不过审核,CSDN不行,原来录音方式不行,现在终于可以进行了。基本内容高级泛函分析+微分集合+抽象概率论+不等式+Le Cam理论。频道之前各种问题,后来终于跟三个人一块合开了。这个就是地址。里面还有一些其他东西,有个很牛小姐姐讲健身,有个很牛的教练讲国家队乒乓球技术。我在这里是最拉垮的,所以都不敢露脸。。。...

2021-01-20 11:23:00 2595 6

原创 如何区分好老师和坏老师?以及中国的音乐培训圈都多不要脸

我向来以为It培训已经很割韭菜了,我也知道99%所谓海外留学回来的都是假的学位。但是今天,一件事情刷新了我的认知。一位柴可夫斯基钢琴比赛的评委,正在小区教钢琴。这意味着什么,这句话等价于说,一位诺贝尔奖评委正在教课,请速来,三年保证诺奖。所以说,怎么办。首先,由于外国假学历太多,我建议所有人一律拒绝任何所谓外国留学背景的老师(因为连学位证都可以造假)。我知道这里面会误伤一些人,但是对不起,一个圈子被搞臭了,那就谁也别恰饭了。第二件事情,只选择知名音乐学院钢琴系研究生。北京可选中央院和中国院,上海

2021-01-17 18:24:46 4848 9

原创 AI数学课的新地址

很抱歉,由于之前课程有错误,以及油管原来频道有很多问题,我把之前数学课的地址换了。这是和三个人合开的。内容没变。

2021-01-17 00:55:21 402

原创 关于预训练语言的一些事情:谷歌那个1.3trillion的模型,以及驳斥某些胡说八道的结论

由于最近跟DeepMind的合作,我们可以训练非常大的预训练语言模型。在这个过程中,浏览中文社区时候,又让我看到了让我想吐的大牛散播谣言,加上最近谷歌那个1.3trillion的模型,又被吹疯了,然后又是胡言乱语。强调几点:即使不是100%,中国大部分研究根本没办法研究预训练语言模型,因为耗费算力太大。我们跟deepmind合作的算力是TPU V3-2048, 大概是20000块V100,实际上肯定不会相差这么小,我们自己根据TPU V3-64常年测试的结果,发现大概其实应该是12万块V100左右。没

2021-01-15 12:31:47 941 1

Tensor求导法则

目前来说,我在市面上还没找到对于高维Tensor求导法则的详细介绍。比如说推导CNN的时候,必须用kronecker product来回折腾。对于RNN,则干脆就求不出来。这里介绍一个通用的资源

2020-12-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除