ray
文章平均质量分 53
活塞君
这个作者很懒,什么都没留下…
展开
-
快速上手-pytorch 使用BN,Drop,权重初始化,mini-batch等方式
简介 本文只针对快速上手,BN,Dropout,权重初始化等降低过拟合的方法请自行百度 BN batch norm 在init中初始化BN,1d针对一维、二维输入(加上第一维的batchsize 所以最终输入是2-3维) 2d、3d同理: self.bn = nn.BatchNorm1d(x特征维度) 然后向前传播中加在输入后即可, x = self.bn(x) Dropout 和BN一样 初始化: self.dropout = nn.Dropout(p=0.5) #每次训练0.5的概率丢弃 使用原创 2021-08-06 14:57:29 · 690 阅读 · 0 评论 -
快速上手-使用ray分布式调参
首先pip安装ray 然后 导入 from ray import tune 使用方式 tune.run就行了 analysis = tune.run( mytrain, config={"lrt": tune.grid_search([0.001, 0.01])},resources_per_trial={"cpu": 2}) 解释一下 传入的config中加载各种超参数,比如这里就是手动写了个学习率的指数标尺 你当然可以np.random.uniform(x,y),np.random.rand原创 2021-08-06 13:33:52 · 373 阅读 · 0 评论