- 博客(16)
- 收藏
- 关注
RSS订阅原创 强化学习下的赛道自动驾驶
这里写自定义目录标题算法介绍DQN网络配置奖励设定效果欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入如今自动驾驶系统已经非常成熟，神经网络已经可以在大多数工况下，根据激光雷达以及普通摄像头输
2021-06-15 14:24:51
639
原创 关于PGD(映射式梯度下降)对抗训练的理解
在生成对抗样本这个应用场景下，对抗样本的最优境界是足以迷惑模型，对人眼却没有产生可视的变化。这意味着样本需要在原样本的L_2或者L_inf球内产生。这时，使用PGD会带来两点不足一、PGD方法本身最适用于凸集，凸集中只有唯一的本地最优，也即为全局最优，那么本地最优的问题就得以避免。然而，目前观察表明样本空间对于坡度来说并不是凸集，存在多个本地最优，那么遇到非全局最优的本地优化就是难免的二、除此...
2019-12-26 11:10:51
8029
原创 基于压缩感知的高速摄像-读书笔记
本文章是基于ICCP论文Video from Stills:Lensless Imaging with Rolling Shutter的读书笔记前言高速摄影作为重要的科学分析工具，其价格昂贵使得应用并不广泛每秒钟拍摄上千幅图片使得高速摄影硬件的每个环节都需要应对极高的数据带宽，而CMOS传感器本身提取数据的速率就是有限的，也自然导致了高速传感器造价不菲然而，眼下这篇论文利用压缩感知的原理开...
2019-10-30 14:17:14
746
原创 最优传输-Sinkhorn算法（第九篇）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记Sinkhorn算法在上一篇里，我们介绍了加入熵正则化的最优传输问题–熵正则化通过限制最优传输问题解的复杂度，可以以大幅降低的复杂度得到最优传输问题的近似解。不过，熵正则化仍然是一个概念，需要一个有效的算法，才能够释放它的潜力。所以，在这一篇里，我们探索实际应用中十分常见的Sinkhorn算法。...
2019-06-30 13:14:33
26896
8
翻译 读书笔记-怎样高效地走出鞍点
此文章是一篇读书笔记，概念和图片来自这篇重量级NIPS 2017文章：How to Escape Saddle Points Efficiently.鞍点的重要性每个神经网络都离不开梯度下降（gradient descent）的核心概念：训练神经网络的过程本质上是在代表网络参数的多维空间上进行梯度下降，对于每一次迭代，都求出当前位置的梯度，然后根据梯度向降低代价的方向调整参数。随着神经网络靠...
2019-06-12 08:15:53
436
2
原创 最优传输-熵正则化（第八篇）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记最优传输的熵正则化在大型数据集上进行最优传输时 ，时间复杂度是个非常重要的因素。不过，在大部分应用情况下，求标准Kantorovich解是不必要的：如果我们利用正则化，改求近似解，那么最优传输的计算代价就大幅降低了。使用正则化的最优传输问题用一系列矩阵乘法即可求解–这意味着最优传输可以充分享受G...
2019-04-27 00:23:24
9338
4
原创 Wasserstein distance vs Dynamic Time Warping
这篇博客同时在我的wordpress上发布In my internship with UCSF Neuroscape lab, I was faced with an important question: is there any difference between Dynamic Time Warping and the Wasserstein metric applied on one-...
2019-04-20 01:35:01
797
原创 最优传输系列-第七篇（3.5-3.5.2）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记3.5 网络单纯形法有了3.4节里的西北角算法，我们现在有能力枚举可能为最优解的传输，离解决Kantorovich relaxation又更近一步了。在3.5小节里，我们迈出这至关重要的一步，介绍网络单纯形法（Simplex method），终于可以从头到尾解决最优传输问题了。3.4里提到，最优...
2019-04-17 06:59:59
1807
原创 最优传输系列-第六篇（3.4.2）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记3.4.2 The North-West Corner Rule既然3.4里已经说明只有可行多面体的顶点才可能是最优解，3.4.1说明一个顶点解一定不存在环线，3.4.2里也就很顺理成章地介绍了能够得到顶点的算法，向得到完整最优化算法更进一步。西北角算法是一种启发式算法（heuristic），能够...
2019-04-04 03:39:52
1545
原创 最优传输系列-第五篇（3.3-3.4.1）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记3.3 Complementary Slackness上一节里，我们认识到C转换不能够作为解决Kantorovich问题的方式。不过，我们很快就会踏上正道，而Proposition 3.3就是有效优化方式的开始：如果PPP是一个原始Kantorovich问题的解，⟨f,g⟩\langle f,g...
2019-03-29 13:46:09
1845
原创 最优传输-ML实战
在正文开始之前，我们先举一个例子：Equations:A1:y=1 when 1≤x≤2,y=0 everywhere elseA_{1}:{y=1\, when\, 1\leq x \leq 2, y=0\, everywhere\, else}A1:y=1when1≤x≤2,y...
2019-03-29 09:49:23
6369
原创 最优传输系列-第三篇（2.5）
最优传输系列是基于Computational Optimal Transport开源书的读书笔记2.5 Dual Problem在2.3小节里，我们介绍了Kantorovich，不过Kantorovich还没有讲完–它还有着至关重要的的“另一半”，在这个小节里进行介绍Kantorovich relaxation是一个凸最小化问题，而凸优化（convex optimization）问题总是成对...
2019-03-22 13:20:16
3400
原创 最优传输系列-第二篇
COT系列是基于Computational Optimal Transport开源书的读书笔记2.4 用最优传输定义距离在各种机器学习算法中，距离的定义都是至关重要的，经常对算法的性能有极大的影响，也是设计算法时最需要考虑的几点之一。举个简单的例子，同一个聚类算法用不同的距离计算，会得到完全不同的结果。在很多情况下，我们最熟悉的L2距离就已经很好了，不过用高级数学找到更好的距离计算方式，有时就...
2019-03-19 12:16:42
4922
1
原创 最优传输系列-第一篇
COT系列是基于Computational Optimal Transport开源书的读书笔记第一章-Introduction最优传输(Optimal Transport)关键的一点是，要考虑怎样把多个数据点同时从一个空间映射到另一个空间上去，而不是只考虑一个数据点。这里借用书中一个形象例子：把一堆沙子里的每一铲都对应到一个沙雕上的一铲沙子，怎么搬沙子最省力气，这就是个最优传输问题（注：这里...
2019-03-11 05:40:44
11855
2
原创 最优传输系列-前言(Computational Optimal Transport)
随着用来implement神经网络的工具变得越来越强大，仅仅能够针对数据写出Neural Network不再是一件及其挑战的事情，有时在Tensorflow几十行代码就可以完成。在这个日渐成熟的AI学术环境中，有能力的研究者不需要停留在在把已有的算法搬到新的应用上去，而是时刻想要进一步改善算法，推进AI的水平。当然，算法的背后没有数学的支撑是不行的，所以对数学理论的了解在现在的AI领域中重要性日渐...
2019-03-11 04:04:03
4288
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人