- 博客(20)
- 资源 (42)
- 收藏
- 关注
原创 【确定性策略梯度类】 DPG,DDPG,TD3,D4PG
https://zhkmxx9302013.github.io/post/dad17569.html
2020-05-31 18:14:24 1924
转载 DDPG(Deep Deterministic Policy Gradient)算法详解
https://blog.csdn.net/qq_30615903/article/details/80776715
2020-05-28 10:24:13 1197
转载 PyTorch学习之六个学习率调整策略
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealing。 自适应调整:自适应调整学习率 ReduceLROnPlateau。 自定义调整:自定义调整学习率 LambdaLR。等间隔调整学习率 StepLR等间隔调整学习率,调整倍数为 gamma 倍,调整间隔
2020-05-26 11:41:32 342
转载 详解Pytorch 自动微分里的(vector-Jacobian product)
https://zhuanlan.zhihu.com/p/65609544
2020-05-18 14:42:54 1063
转载 pytorch 分布式训练 distributed parallel 笔记
https://blog.csdn.net/m0_38008956/article/details/86559432
2020-05-14 14:31:53 260
原创 model.train 和 model.eval
model.train() :启用 BatchNormalization 和 Dropoutmodel.eval() :不启用 BatchNormalization 和 Dropout固化权重,防止在测试的时候改变sets the module in evaluation mode.This has any effect only on certain modules. See documentations of particular modules for details of their
2020-05-14 12:39:46 255
转载 理解用于计算SHAP值的公式
https://baijiahao.baidu.com/s?id=1654791131903418801&wfr=spider&for=pc
2020-05-14 09:49:07 1984
原创 分布式训练 单机多卡
【分布式训练】单机多卡的正确打开方式(一):理论基础https://zhuanlan.zhihu.com/p/72939003【分布式训练】单机多卡的正确打开方式(二):TensorFlowhttps://zhuanlan.zhihu.com/p/73580663【分布式训练】单机多卡的正确打开方式(三):PyTorchhttps://zhuanlan.zhihu.com/p/74792767【分布式训练】单机多卡的正确打开方式(四):Horovodhttps://zhuanla
2020-05-13 15:01:00 516
转载 并行训练方法
Take-Away笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例(单机多卡),需要的同学可以当作 quickstart 将需要的部分 copy 到自己的项目中(Github 请点击下面链接):nn.DataParallel简单方便的 nn.DataParallel2.torch.distributed使用 torch.distributed 加速并行训练3.torch.multiprocessing使用 torch.multiprocessing 取代启动...
2020-05-13 12:14:54 1018
转载 Ring Allreduce
The Communication Problem当将神经网络的训练并行化到许多GPU上时,你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里,我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样,梯度下降是通过数据子集(小批次)完成的,需要多次迭代才能在整个数据集上进行。然而,在数据并行训练中,每个GPU都有整个神经网络模型的完整副本,对于每次迭代,只分配了小批次中样本的子集。对于每次迭代,每个GPU在其数据上运行网络的前向传播,随后进行误差反向传播,以计算损耗相对于网
2020-05-13 12:13:12 1005
转载 模型可解释性(SHAP)
https://christophm.github.io/interpretable-ml-book/https://www.jianshu.com/p/324a7c982034特征重要性计算夏普利值-博弈论SHAP含义:观察到某一个样本的预测中各个特征对预测结果产生的影响。基本思想:计算一个特征加入到模型时的边际贡献,然后考虑到该特征在所有的特征序列的情况下不同的边际贡献,取均值,即某该特征的SHAPbaseline value。例如:A单独工作产生的价值为v...
2020-05-13 10:53:14 5395
转载 Pytorch中多GPU训练指北
https://www.jianshu.com/p/bb28669018b3前言在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练,与分布式训练不同,我们采用的主要Pytorch功能函数为DataParallel而不是DistributedParallel,后者为多主机
2020-05-13 10:33:34 1226
转载 目标检测中的样本不平衡处理方法——OHEM, Focal Loss, GHM, PISA
https://www.jianshu.com/p/f305b573df8f
2020-05-13 09:28:22 358
转载 Self-critical Sequence Training
Self-critical Sequence Training for Image Captioning是IBM研究团队在CVPR 2017上发表的一篇论文,主要介绍了一种基于self-critical思想的强化学习方法来训练序列生成模型。论文背景该论文的背景与上周介绍的Sequence Level Training with Recurrent Neural Networks一文相似,后...
2020-05-06 10:05:59 1305 1
转载 What is Teacher Forcing for Recurrent Neural Networks?
Teacher forcing is a method for quickly and efficiently training recurrent neural network models that use the ground truth from a prior time step as input.It is a network training method critical to...
2020-05-06 09:52:58 319
转载 Self-critical Sequence Training for Image Captioning
https://blog.csdn.net/sinat_26253653/article/details/78458894
2020-05-06 09:48:54 248
转载 Self-critical Sequence Training
Self-critical Sequence Training for Image Captioning是IBM研究团队在CVPR 2017上发表的一篇论文,主要介绍了一种基于self-critical思想的强化学习方法来训练序列生成模型。论文背景该论文的背景与上周介绍的Sequence Level Training with Recurrent Neural Networks一文相似,后...
2020-05-06 09:47:37 389
转载 Pytorch实现RNN
曾经,为了处理一些序列相关的数据,我稍微了解了一点递归网络 (RNN) 的东西。由于当时只会 tensorflow,就从官网上找了一些 tensorflow 相关的 demo,中间陆陆续续折腾了两个多星期,才对 squence to sequence,sequence classification 这些常见的模型和代码有了一些肤浅的认识。虽然只是多了时间这个维度,但 RNN 相关的东西,不仅是模型...
2020-05-05 15:14:29 491
Pro Go The Complete Guide -go语言学习最新书籍
2023-06-19
Advanced_Programming_in_the_UNIX_Environment,_3rd
2018-11-30
Deep_Learning_Quick_Reference
2018-09-01
Convex Optimization Algorithms
2018-09-01
Guide.to.Medical.Image.Analysis.Methods.and.Algorithms
2018-09-01
Python Machine Learning Machine Learning and Deep Learning
2018-03-27
Data Structures and Algorithms Using Python and C++
2018-03-27
R_for_Data_Science
2018-03-27
Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow
2018-03-17
Approximate.Dynamic.Programming.2011
2018-01-17
Swarm Intelligence Principles Advances and Applications
2018-01-13
Reinforcement Learning With Open A TensorFlow and Keras Using Python.pdf
2017-12-18
Fundamentals of Deep Learning完整非扫描版本2017
2017-12-16
Text Mining in Practice with R 2017.12
2017-12-13
Text_Mining-From_Ontology_Learning_to_Automated_Text_Processing_Applications
2017-12-13
Tensorflow 机器学习参考手册2007
2017-11-22
Spark大数据处理技术 带标签 完整版
2017-11-12
模式分类11
2016-11-07
集体编程智慧
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人