菜狍的博客

直接在gpu上定义tensor而减少cpu到gpu的copy!!!为了实现复杂的网络结构和损失函数，自定义forward和loss的计算，发现cpu占用很高，挂了几个训练就占满了所有cpu。把运算都用放到gpu上运算，发现还是cpu占用高，并且有更慢的趋势。用性能分析工具分析发现是 cpu占用时间率高。为了验证是使用了导致的，编写了程序，对比和直接定义，发现时gpu利用率接近100%，而gpu利用率还不到20%。直接在gpu上定义变量...

参数：公式：decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)公式：lr = lr * gamma**epoch可以看到两者实现有不同，但pytorch实现tensorflow的模式可以利用gamma^decay_steps进行转换

对于pytorch恢复一个epoch中的中断的训练时，通常dataloader都会从头加载，对于大型数据集不友好，loss又重新下降了这时候可以自定义sampler调用dataloader时传入自定义sampler，指定恢复的step就可以啦！ref也可以用笨方法，空跑到指定的step：...

...

TensorFlow

微软亚洲研究院 2021 CVPR 论文分享会笔记

-ntasks或-n任务在SLURM中做什么？我在用是slurm，使用一些计算集群-NTASK公司或-n. 我显然已经读过相关文档了http://slurm.schedmd.com/sbatch.html:sbatch不启动任务，它请求分配资源并提交批处理脚本。此选项建议Slurm控制器在分配中运行的作业步骤将启动最多 个任务，并提供足够的资源。默认值是 每个节点一个任务，但是请注意–cpus per task选项将 更改此默认值。我不明白的是：在分配内运行将启动最大数量的任务，并提供足够的资源。

Improving Deep Neural Networks初始化一般的数据集，训练：开发集=7：3；训练：开发：测试=6：2：2大数据集：几万，99：1，开发/测试：1万就够了扩大网络+正则化：减小偏差不增大方差增加数据：减小方差不增大偏差正则化L2一般用L2多于L1通常使用开发集或hold-out交叉验证，来选择正则化参数λ正则化大→w趋于0，则①某些隐藏单元接近0，网络变为更简单的网络；②z=wa+b，z变得很小，tanh激活函数接近线性，网络只能拟合线性函数，不能拟合复杂的

定义模型class Mynet(nn.

模型链接：https://github.com/tensorflow/tpu/blob/master/models/official/efficientnet/efficientnet_model.pyHead分类头build： #激活函数 self._relu_fn = (self._block_args.activation_fn or global_params.relu_fn or tf.nn.swish) # Head part. #卷积层

在线难例挖掘OHEM论文Training Region-based Object Detectors with Online Hard Example Mining源码链接https://github.com/abhi2610/ohem基于Fast R-CNN，框架基于CaffeOHEM训练样本生成的部分在/ohem/blob/master/lib/roi_data_layer/minibatch.py里的 get_ohem_minibatch函数def get_ohem_minibatch(lo

目标检测两阶段R-CNN生成候选区域selective search：分割成矩形框→合并→不同大小的候选区域缩放到相同大小 得到定长向量CNN提取特征预训练不带框微调（fine-tuning)带框标注（可选）对区域分类分类：线性SVM、softmax边框较准：线性回归。输入特征（？特点：在特征提取时间最长，扩展类别时间没有上升SPP-net空间金字塔池化不需要每个...