- 博客(16)
- 收藏
- 关注
RSS订阅翻译 论文笔记：Smooth Adversarial Training
摘要 人们普遍认为网络不可能同时具有准确性和鲁棒性，获得鲁棒性意味着失去准确性。人们还普遍认为，除非使网络更大，否则网络架构元素在提高对抗的健壮性方面作用不大。在这里，我们提出证据，以挑战这些共同的信念，通过仔细研究对抗性训练。我们主要观察到的是，广泛使用的ReLU激活函数由于其非光滑性，显著削弱了对抗性训练。因此，我们提出平滑对抗训练(SAT)，其中我们用平滑逼近代替ReLU，以加强对抗训练。SAT中平滑激活函数的目的是让它在对抗性训练中找到更困难的对抗性例子和计算更好的梯度更新。与标准对抗性训练相比
2020-07-25 23:07:49
514
原创 安装torch0.3，以及0.3到0.4的迁移
pip install http://download.pytorch.org/whl/cu91/torch-0.3.1-cp36-cp36m-linux_x86_64.whl链接https://blog.csdn.net/cncxz5801/article/details/81451534
2020-06-25 23:14:28
342
原创 try except
仅供参考for i in range(10): try: if i ==8: print(vvnnsdvkjdvd) else: print('jixu') except: print('---------------------.xml not exists~') # continue#加上continue后面便不再执行，进入下一个循环 print('i',i)co
2020-06-04 00:06:58
164
原创 F.softmax
import torchimport torch.nn.functional as F input = torch.randn(3,4)print(input) b = F.softmax(input,dim=0) # 按列SoftMax,列和为1print('b',b)c = F.softmax(input,dim=-2) # 按行SoftMax,列和为1print('c...
2019-12-29 21:04:19
1960
原创 ENAS问题
控制器——一种预定义的循环神经网络（RNN），一般是长短期记忆（LSTM）循环神经网络子模型——图像分类任务所需要的卷积神经网络（CNN）ENAS包括三个方面：搜索空间——所有可能的不同结构或者能够产生的子模型搜索策略——产生这些结构或者子模型的方法性能评估——测量这些产生的子模型效能的方法1.控制器通过使用搜索策略产生指令集（或者，更严格地说，做出和挑选决策），来控制或者直接构建子模...
2019-12-21 20:46:26
596
原创 ENAS译文
通过参数共享的高效的神经网络架构搜索摘要我们提出了一种快的，廉价的自动模型架构搜索–ENAS。在ENAS中，控制器通过在大型计算图中搜索最优子图来发现神经网络结构。使用策略梯度对控制器进行训练，以选择一个子图，使验证集上的期望回报最大化。同时对所选子图对应的模型进行训练，使正则交叉熵损失最小化。在子模型之间共享参数允许ENAS提供强大的经验性能，同时比现有的自动模型设计方法使用更少的GPUho...
2019-12-21 20:15:11
487
原创 NAS
搜索空间：1.整体结构细胞结构层次结构网络映射1.ICLR17年 zoph 以及 quoc le 这篇文章，这篇文章的搜索空间主要是一个整体搜索结构，利用RNN来进行网络结构的产生，每一个RNN输出一个层的一些超参数，比如 卷积核心的大小，stride大概是多少，数量等。当RNN输出结束，也就是一个网络结构的生成。2.细胞结构Efficient Neural Architecture ...
2019-12-18 16:19:30
135
原创 DoubleTensor
[外链图片转存失败,源站可能有防盗在这里插入!链机制,建描述]议将图片上https://传(imblog.csq223img.cn/20131209125171.png32989)(一上午的错误https://img-blog.csdnimg.cn/20191209132925171.png)]精度不匹配，肯定是代码中即出现了doule 又出现了float，统一一下，可以这样修改，也可以都改为...
2019-12-09 13:33:21
702
1原创 如何换源，用阿里源
好像只能是Linuxmadir ~/.pipvim ~/.pip/pip.conf将下面两行代码复制进去即可[global]index-url = https://mirrors.aliyun.com/pypi/simpleok，结束，当然也可以用其源，比如，清华源，个人感觉不好用https://pypi.tuna.tsinghua.edu.cn/simple豆瓣https://...
2019-11-25 17:50:00
386
原创 for循环为什么出错，for后为什么不加：
range[start,end,step]可以生成一个均布的数列，但是step不能为浮点数。若想生成步进为浮点数的数列，只需调用numpy.arange，如：print numpy.arange(0,10,0.5)import numpy as nfor i in range(0,5,2):print(i)#打印等腰三角形a = range(0,10,2)print(a)b = n...
2019-10-28 17:32:35
213
原创 for循环
没事多看看Python中的循环语句有 2 种，分别是 while 循环和 for 循环，while 循环和 if 条件分支语句类似，即在条件（表达式）为真的情况下，会执行相应的代码块。 for 循环，常用于遍历字符串、列表、元组、字典、集合等序列类型，逐个获取序列中的各个元素。for循环的应用for 语句进行数值循环：在使用 for 语句循环时，最基本的应用就是进行数值循环。for 循环遍...
2019-10-28 13:28:11
159
转载 安装conda
纯抄袭第一步：anconda的安装，大家可以参考以下博文，写的比较简约，看起来比较清爽https://blog.csdn.net/ITLearnHall/article/details/81708148Anacond的介绍Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包，Anaconda 的下载文件...
2019-10-28 10:40:00
350
原创 安装torch的坑
安装torch的坑，我就是为了记录一下，第一次写博客，哈哈哈哈哈使用conda打包时遇到 The current user does not have write permissions to the target environm解决方案查了好多，都没成功，提示用户没有写目录的权限。这个以管理员身份再启动一下prompt即可解决，就是这么简单...
2019-10-28 10:36:14
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人