2021年05月_*pprp*

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创【Pytorch基础】BatchNorm常识梳理与使用

BatchNorm, 批规范化，主要用于解决协方差偏移问题，主要分三部分：计算batch均值和方差规范化仿射affine算法内容如下：需要说明几点：均值和方差是batch的统计特性，pytorch中用running_mean和running_var表示$\gamma 和和和\beta$是可学习的参数，分别是affine中的weight和bias以BatchNorm2d为例，分析其中变量和参数的意义：affine: 仿射的开关，决定是否使用仿射这个过程。affine=Fa

2021-05-29 11:04:06 1149

原创【神经网络搜索】Once for all

【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。文章目录0. Info1. Motivation2. Contribution3. Method4. Experiment5. Revisiting6. Reference0. InfoTitle: Once-for-All: Train one Network and Specialize i

2021-05-28 14:14:06 1188

原创如何阅读和学习深度学习项目代码

【前言】现在深度学习项目代码量越来越大，并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目，打算总结一下如何探索和深入一个深度学习项目库。笔者pprp，未经允许不得擅自转发。1. 基础知识首先，需要保证有一定的深度学习基础知识，吴恩达的深度学习课还有斯坦福大学的CS231n都是不错的入门教程，只需要有大学数学的基础就可以看懂。然后，需要对Linux系统使用有一定的了解，一般选择Ubuntu系统作为主力系统，了解一下基础的系统命令就可以了，比如rm,ls,cd,cat,vim,s

2021-05-27 21:45:05 2347 1

原创【NAS工具箱】Pytorch中的Buffer

Parameter ：模型中的一种可以被反向传播更新的参数。第一种：直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量或者：通过nn.Parameter() 创建普通对象通过register_parameter()进行注册

2021-05-27 11:02:44 497

原创【NAS工具箱】Drop Path介绍+Dropout回顾

【前言】Drop Path是NAS中常用到的一种正则化方法，由于网络训练的过程中常常是动态的，Drop Path就成了一个不错的正则化工具，在FractalNet、NASNet等都有广泛使用。DropoutDropout是最早的用于解决过拟合的方法，是所有drop类方法的大前辈。Dropout在12年被Hinton提出，并且在ImageNet Classification with Deep Convolutional Neural Network工作AlexNet中使用到了Dropout。原理：在

2021-05-26 19:20:14 2519

原创分布式与云计算系统考试内容总结

文章目录概念问答在云计算应用中使用虚拟化资源的优点：WS-*和RESTful Web服务的区别:为什么网格在学术应用中流行，而云计算在商业应用中占主导地位?概念高性能计算系统（HPC）：强调的是原始的速度性能，通常用来衡量浮点计算能力。【速度性能】高吞吐计算系统（HTC）：强调的是单位时间完成的任务数，而不是单个任务能有多快完成。【单位时间任务数】Peer-to-peer P2P网络：是一种分布式应用架构，他将任务划分到多个节点上，每个节点同时充当客户端和服务器，采用的是分布式控制的自

2021-05-26 15:02:42 686

原创 call() missing 1 required positional argument xxx

环境：tf2.1报错：call() missing 4 required positional argument x y w h修改：@tf.function( input_signature=( tf.TensorSpec(shape=[None, None, 3], dtype=tf.float32), tf.TensorSpec(shape=[], dtype=tf.int32), tf.TensorSp

2021-05-21 10:20:33 3065

原创【神经网络搜索】NAS-Bench-101: 可复现神经网络搜索

【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。0. 摘要神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。本文目标是通过引入NAS-Bench-101的方法来缓解以上问题。在NAS-Bench-101中，设计了一个紧凑且丰富的搜索空间。通过图同构的方式来区别423k个网络架构。在CIFAR10数据集上多次训练以上

2021-05-19 09:21:25 1334 4

原创【神经网络搜索】Single Path One Shot

【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。代码：https://github.com/megvii-model/SinglePathOneShot论文：https://arxiv.org/abs/1904.00420摘要之前的One-Shot NAS训练难度很大，并且在大型数据

2021-05-04 11:06:04 1161 4

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

pprp的博客

原创【Pytorch基础】BatchNorm常识梳理与使用

原创【神经网络搜索】Once for all

原创如何阅读和学习深度学习项目代码

原创【NAS工具箱】Pytorch中的Buffer

原创【NAS工具箱】Drop Path介绍+Dropout回顾

原创分布式与云计算系统考试内容总结

原创 call() missing 1 required positional argument xxx

原创【神经网络搜索】NAS-Bench-101: 可复现神经网络搜索

原创【神经网络搜索】Single Path One Shot

使用mixedprecision复现ResNet50在ImageNet上的精度.docx

AsciidocFX_Windows.exe

ffmpeg-20200403-52523b6-win64-static.zip

DarkLabel1.3_part1.zip

Feem_v4.3.0_beta_Windows_Installer.exe

How TO Read Scientific Paper.pdf

keypoints.exe

空空如也