自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 CMA-ES算法流程

https://blog.csdn.net/qq_40019838/article/details/99882885

2020-06-30 10:09:32 21 0

转载 上采样和PixelShuffle

0、前言 上采样:可以简单的理解为任何可以让你的图像变成更高分辨率的技术。 最简单的方式是重采样和插值:将输入图片input image进行rescale到一个想要的尺寸,而且计算每个点的像素点,使用如双线性插值bilinear等插值方法对其余点进行插值。 Deconvolution(反卷积...

2020-06-29 10:05:18 43 0

原创 GAE(Generalized Advantage Estimation) PPO

https://blog.csdn.net/zhkmxx930xperia/article/details/88257891

2020-06-28 14:26:18 31 0

转载 强化学习笔记之浅谈ACKTR

https://zhuanlan.zhihu.com/p/122997370 2017年NIPS上的文章"Scalable trust-region method for deep reinforcement learning using Kronecker-factored appr...

2020-06-27 16:13:48 37 0

转载 深度解读Soft Actor-Critic 算法

1 前言 机器人学习Robot Learning正在快速的发展,其中深度强化学习deep reinforcement learning(DRL),特别是面向连续控制continous control的DRL算法起着重要的作用。在这一领域中,目前可以说有三类行之有效的modle free DRL算...

2020-06-27 13:27:30 43 0

转载 费雪信息 (Fisher information)

https://www.pianshen.com/article/7760431989/

2020-06-26 18:42:01 50 0

原创 Natural Gradient Descent

https://zhuanlan.zhihu.com/p/142786862

2020-06-26 18:33:12 25 0

原创 TRPO、PPO

https://blog.csdn.net/weixin_41679411/article/details/82421121 https://zhuanlan.zhihu.com/p/48293363 https://zhuanlan.zhihu.com/p/29918825 https...

2020-06-25 18:19:01 22 0

转载 读论文Trust Region Policy Optimization

这篇论文的作者星光闪耀,都是大牛级人物,而且是最顶尖的那种。第一作者是Schulman(cs294课程的主讲人)、Levine和Abbeel也在作者名单里面。 论文首先通过一些surrogate目标函数来保证较大的步长来进行策略优化和提升,然后通过一系列的近似来推出理论公式和实际工程可行的算法,...

2020-06-25 17:55:38 16 0

转载 TRPO

https://zhuanlan.zhihu.com/p/26308073

2020-06-25 17:39:09 26 0

转载 强化学习---TRPO/DPPO/PPO/PPO2

时间线: OpenAI 发表的Trust Region Policy Optimization, Google DeepMind 看过 OpenAI 关于 TRPO后, 2017年7月7号,抢在 OpenAI 前面 把Distributed PPO给先发布了. OpenAI 还是在 2017...

2020-06-25 17:05:46 20 0

原创 Transformer结构中获得相对位置信息的探究

https://www.jianshu.com/p/8eead02f7d95

2020-06-10 12:00:40 41 0

原创 position embedding

https://www.cnblogs.com/shiyublog/p/11236212.html https://www.zhihu.com/question/279523792?sort=created https://www.zhihu.com/question/347678607/...

2020-06-10 11:42:18 39 0

转载 tensorflow的函数自动求导是如何实现的?

https://www.jianshu.com/p/8550efaed7f8

2020-06-09 10:17:38 61 0

原创 【确定性策略梯度类】 DPG,DDPG,TD3,D4PG

https://zhkmxx9302013.github.io/post/dad17569.html

2020-05-31 18:14:24 174 0

转载 DDPG(Deep Deterministic Policy Gradient)算法详解

https://blog.csdn.net/qq_30615903/article/details/80776715

2020-05-28 10:24:13 131 0

转载 PyTorch学习之六个学习率调整策略

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealing...

2020-05-26 11:41:32 70 0

转载 DTW(Dynamic Time Warping) 动态时间规整

https://www.jianshu.com/p/4c905853711c

2020-05-22 14:46:52 82 0

转载 详解Pytorch 自动微分里的(vector-Jacobian product)

https://zhuanlan.zhihu.com/p/65609544

2020-05-18 14:42:54 59 0

原创 金融风控稳定性指标 PSI & CSI

https://zhuanlan.zhihu.com/p/94619990

2020-05-18 14:13:41 213 0

转载 pytorch 分布式训练 distributed parallel 笔记

https://blog.csdn.net/m0_38008956/article/details/86559432

2020-05-14 14:31:53 86 0

原创 model.train 和 model.eval

model.train() :启用 BatchNormalization 和 Dropout model.eval() :不启用 BatchNormalization 和 Dropout 固化权重,防止在测试的时候改变 sets the module in evaluation mode. ...

2020-05-14 12:39:46 64 0

转载 理解用于计算SHAP值的公式

https://baijiahao.baidu.com/s?id=1654791131903418801&wfr=spider&for=pc

2020-05-14 09:49:07 98 0

原创 分布式训练 单机多卡

【分布式训练】单机多卡的正确打开方式(一):理论基础 https://zhuanlan.zhihu.com/p/72939003 【分布式训练】单机多卡的正确打开方式(二):TensorFlow https://zhuanlan.zhihu.com/p/73580663 【分布式训练】单机...

2020-05-13 15:01:00 35 0

转载 并行训练方法

Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例(单机多卡),需要的同学可以当作 quickstart 将需要的部分 copy 到自己的项目中(Github 请点击下面链接): nn.DataParallel简单方便的 nn.DataParall...

2020-05-13 12:14:54 70 0

转载 Ring Allreduce

The Communication Problem 当将神经网络的训练并行化到许多GPU上时,你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里,我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样,梯度下降是通过数据子集(小批次)完成的,需要多次迭代才能在整个数...

2020-05-13 12:13:12 44 0

转载 模型可解释性(SHAP)

https://christophm.github.io/interpretable-ml-book/ https://www.jianshu.com/p/324a7c982034 特征重要性计算 夏普利值-博弈论 SHAP含义:观察到某一个样本的预测中各个特征对预测结果产...

2020-05-13 10:53:14 279 0

转载 Pytorch中多GPU训练指北

https://www.jianshu.com/p/bb28669018b3 前言 在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用Pytorch多G...

2020-05-13 10:33:34 71 0

转载 目标检测中的样本不平衡处理方法——OHEM, Focal Loss, GHM, PISA

https://www.jianshu.com/p/f305b573df8f

2020-05-13 09:28:22 90 0

转载 Self-critical Sequence Training

Self-critical Sequence Training for Image Captioning是IBM研究团队在CVPR 2017上发表的一篇论文,主要介绍了一种基于self-critical思想的强化学习方法来训练序列生成模型。 论文背景 该论文的背景与上周介绍的Sequence ...

2020-05-06 10:05:59 34 0

转载 What is Teacher Forcing for Recurrent Neural Networks?

Teacher forcing is a method for quickly and efficiently training recurrent neural network models that use the ground truth from a prior time step as ...

2020-05-06 09:52:58 71 0

转载 Self-critical Sequence Training for Image Captioning

https://blog.csdn.net/sinat_26253653/article/details/78458894

2020-05-06 09:48:54 55 0

转载 Self-critical Sequence Training

Self-critical Sequence Training for Image Captioning是IBM研究团队在CVPR 2017上发表的一篇论文,主要介绍了一种基于self-critical思想的强化学习方法来训练序列生成模型。 论文背景 该论文的背景与上周介绍的Sequence ...

2020-05-06 09:47:37 93 0

转载 Pytorch实现RNN

曾经,为了处理一些序列相关的数据,我稍微了解了一点递归网络 (RNN) 的东西。由于当时只会 tensorflow,就从官网上找了一些 tensorflow 相关的 demo,中间陆陆续续折腾了两个多星期,才对 squence to sequence,sequence classification...

2020-05-05 15:14:29 64 0

转载 排列组合

一,排列:n中选取m个元素,并且将该m个元素进行排序二,组合:n中选取m个元素,如果m个元素相同顺序不同认为是一个组合 三,注意:概率论中组合还有另外一种写法 ...

2020-04-26 16:10:50 232 0

转载 GraphSAGE: 算法原理,实现和应用

在上一篇文章中介绍了GCN 浅梦:【Graph Neural Network】GCN: 算法原理,实现和应用​zhuanlan.zhihu.com GCN是一种在图中结合拓扑结构和顶点属性信息学习顶点的embedding表示的方法。然而GCN要求在一个确定的图中去学习顶点的embedding,...

2020-04-20 16:21:01 209 0

转载 GraphSAGE: GCN落地必读论文

论文:Inductive Representation Learning on Large Graphs 作者:William L. Hamilton, Rex Ying, Jure Leskovec 来源:NIPS17 0. 碎碎念 PinSAGE(PinSage:第一个基于GCN的工业级推...

2020-04-20 16:05:40 76 0

原创 神经网络架构搜索(Neural Architecture Search)杂谈

https://blog.csdn.net/jinzhuojun/article/details/84698471

2020-04-20 14:14:39 55 0

转载 进程间的通讯(IPC)方式

为什么要进行进程间的通讯(IPC (Inter-process communication)) 数据传输:一个进程需要将它的数据发送给另一个进程,发送的数据量在一个字节到几M字节之间 共享数据:多个进程想要操作共享数据,一个进程对共享数据的修改,别的进程应该立刻看到。 通知事件:一个进程需要向另...

2020-04-19 16:26:02 53 0

转载 模型压缩总览

深度学习使得很多计算机视觉任务的性能达到了一个前所未有的高度。不过,复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。为了解决这些问题,许多业界学者研究模型压缩方法以最大限度的减小模型对于计算空间和时间的消耗。最近团队里正在研究模型压缩相关...

2020-04-19 11:02:37 187 0

提示
确定要删除当前文章?
取消 删除