优化加速
WS0
欢迎讨论,不写水文。
展开
-
Reformer源码解读
秋招结束了,研究生的研究也到了尾声,终于有时间研究自己感兴趣的内容。趁着入职前的几个月给自己输血。mark原创 2021-12-03 14:56:06 · 449 阅读 · 0 评论 -
Learning Robust Low-Rank Representation (2012)笔记
Learning Robust Low-Rank Representation (2012)注释:本篇主要学习LRR和online LRR理论。本文由RPCA的提出讲起;再叙述论文提出的online RPCA数学解析以及insight;最终阐述如何与神经网络结合,构成可训练的online RPCA regressor。论文梗要:主要采用稀疏表示的非凸方法,来得到数据鲁棒...原创 2019-03-03 01:22:38 · 3222 阅读 · 2 评论 -
笔记Why BN works (MIT)
Paper地址:NIPS 2018 How Does Batch Normalization Help Optimization?作者: Shibani Santurkar,Dimitris Tsipras, Andrew Ilyas, Aleksander Madry总结一下内容,理论是重头不好编辑,啃了也不方便传…1. 主要内容首先,关于BN为什么work,最广为流传的是:BN控制...原创 2019-03-15 21:00:05 · 637 阅读 · 0 评论