- 博客(28)
- 收藏
- 关注
RSS订阅原创 24 ICLR(Oral) Neural Fine-Tuning Search For Few-Shot Learning （少样本学习的神经微调搜索、NAS技术的应用）
24 ICLR(Oral) 在小样本学习Few-shot（FSL）中，在一组类别上训练的分类器需要被快速应用与泛化到其余不相关、全新的数据集上。因此，许多研究表明，精心设计的适应性架构微调的有效性。然而，新问题出现，如何找到最优的适应性策略？本文，通过神经架构搜索（NAS）来回答这个问题。给定一个预训练神经网络，该算法能找到一个适应器的最优排列，即哪些层需要冻结，哪些需要微调。
2024-03-18 15:44:30
1089
原创 2024年 30篇神经架构搜索(Neural Architecture Search) ICLR(Under review) 阅读笔记
据作者所知，该研究首次进行了RSNNs的系统架构优化。通过引入SC-ML和HRMAS，研究成功地证明了可扩展RSNN架构和自动化架构优化的可行性和有效性，实现了显著的性能提升。这种方法为设计和实现更先进的神经网络开辟了新的途径。
2023-12-30 23:40:16
2662
2
原创 2023年 18篇神经架构搜索(Neural Architecture Search) ICCV ICML NIPS IJCAI 阅读笔记
目录1.EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization (ICCV)2.MixPath: A Unified Approach for One-shot Neural Architecture Search (ICCV)3.Automated Knowledge Distillation via Monte Carlo Tree Search(ICCV)4.ROME: Ro
2023-12-30 23:19:39
1469
原创 2023年 神经架构搜索如何提升评价排名一致性（多模态遗忘问题）：Kendall tau和Spearman？
1. 超网分割2. 梯度匹配3. 手工设计4. 采样技术。
2023-07-30 00:55:22
181
原创 2023年 20篇神经架构搜索(Neural Architecture Search) CVPR ICLR AAAI Survey 笔记 （持续更新）
23年 20篇神经架构搜索(NAS) CVPR ICLR ICCV AAAI IJCAI Survey 笔记
2023-07-17 23:41:01
2445
原创 21年 46篇神经架构搜索(Neural Architecture Search) ICCV CVPR Survey 笔记 (21-46持续更新)
26篇ICCV和CVPR的神经架构搜索内容
2022-05-30 00:23:13
933
原创 Pytorch可视化工具(visdom、onnx、netron)
目录1 Visdom1.1 安装使用1.2 登录使用1.3 导入visdom所用的库1.4 监听loss变化1.5 监听多条数据1.5 图片与对应的标签（以后再更新）1 Visdomvisdom是FaceBook开发的一款可视化工具，其实质是一款在网页端的web服务器，对Pytorch的支持较好。详解PyTorch可视化工具visdom这个写的不错1.1 安装使用pip install visdompython -m visdom.serv..
2022-05-29 16:40:58
1034
原创 torch tensorflow API收集
pytorch apiPyTorch documentation — PyTorch 1.11.0 documentationtensorflow apihttps://www.tensorflow.org/versions?hl=zh-cn
2022-05-01 21:24:13
87
原创 21年 46篇神经架构搜索(Neural Architecture Search) ICCV CVPR Survey 笔记 (1-20)
1. FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining2.Activate or Not: Learning Customized Activation3.Dynamic Slimmable Network4.AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling
2022-03-11 16:57:21
7190
原创 基于采样训练和节点继承的注意力卷积网络的高效进化搜索
Effificient Evolutionary Search of Attention Convolutional Networks via Sampled Training and Node Inheritance一、摘要深度神经网络的性能在很大程度上依赖于它的结构，各种神经结构搜索策略已经被开发为自动网络结构设计。近年来，进化神经结构搜索(EvoNAS)由于进化算法具有具有吸引力的全局优化能力而受到越来越多的关注。然而，EvoNAS的计算成本非常高，因为在进化优化过程中通常需要大量的性能评估，
2022-03-10 14:27:30
1738
5
原创 GAN 公式推导
零、前言 笔者在学习GAN的过程中，查阅了许许多多资料，最终发现台湾大学李宏毅教授的GAN教程讲的极好（PPT非常干净、讲解的很清楚），除此之外网易慕课上的一个Pytorch教程里的GAN部分讲的也是不错，近期还看了B站上李沐大佬的论文精度系列（大佬一段段拆开读，甚好），都有将原理和推导。但最后发现GAN的学习路程上还是有个拦路虎，就是损失函数公式的推导，这是GAN论文的精华所在，同时也是为了记录下自己学习的情况，所以本文参考网络资料与原文进行一个GAN公式的推导计算。推导公式时，本文大量...
2021-12-02 20:31:09
2344
原创 详细配置Anaconda3 Pytorch2.x TensorFlow2.12 Jupyter 环境（最新更新 23年8月22日）
Ubuntu18.04服务器上安装Anaconda3 CUDA Pytorch TensorFlow Jupyter 以及相关的配套环境包
2021-10-08 21:40:39
5398
原创 03.初识MNIST数据集
一、什么是MNIST数据集 MNIST数据集已经是一个极其经典的数据集了，先放上下载链接MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges图片是以字节的形式进行存储，我需要将其读取到Numpy array中，以便训练与计算。数据集大概有 60,000 个训练样本和 10,000 个测试样本。 例举数据集一张图片来说 [0 - 1 , 28 ,28 ] ，存储数据...
2021-10-01 21:23:14
1039
1
原创 02.numpy实现一个线性回归案例
一、简单的回归函数拟合使用的算法还是逻辑回归这类，通过数据推算出 y = kx +b 的k值与b值1. loss2. 梯度更新每次都进行迭代计算，不断逼近最终函数。二、代码实现1.数据存放入data.csv32.502345269453031,31.7070058465699253.426804033275019,68.7775959816389161.530358025636438,62.56238229794580347.47563963478..
2021-10-01 19:45:33
126
原创 07-梯度下降算法
一、模拟实现简单梯度下降算法1.梯度下降1.1什么是梯度下降 梯度下降的思维可以理解为一个下山的过程。假设说一个人被困在山顶，周围一片迷雾，能见度很低，导致下山的路径无法确定。那么他就不得不利用周围环境来判断下山的路。 以当前路径为基准，寻找这个位置最为陡峭的地方，然后朝着山高度下降的地方前进，每次都采用相同方法，最终是能走到底部的。可微分函数 = 山 目标 = 山底1.2 梯度 梯度在单变量函数中，代表...
2021-10-01 16:30:26
288
原创 01-jupyter 无法导入已经安装的第三方包（win10）
由于之前的bug已经解决了，不得不网上找个图来替代一下。我也是出现了类似问题，没有名叫xxx的模块存在。解决这个问题的办法很简单，出现这种问题大概率就是jupyter的配置环境与pycharm中的环境不一样。1、查看jupyter安装路径import syspath = sys.executableprint(path)再看看自己pycharm里的环境配置，哇塞果然是不一样的，两个不同的配置环境必然无法正确导包。一种方法是更改配置环境的...
2021-10-01 14:50:06
1414
2
原创 06. 线性回归专题
本文素材来源于网络目录一、序言1. 线性回归简介2.线性回归定义与公式3.线性回归的特征与目标的关系二、playML包的构建1. KNN.py2.metrics.py3.model_selection.py4.preprocessing.py5.SimpleLinearRegression.py三、简单的线性回归1. 线性回归2. 使用自己的simpleLinearRegression函数3. 简单的向量计算化4. 向量化后的性能测试四、.
2021-10-01 14:23:34
338
原创 03-Numpy学习
一、 Numpy创建列表元组 常用功能1. Numpy版本import numpy as npnumpy.__version__np.__version__# '1.20.3' 版本最好高于1.202.Python List的特点# python list的特点L = [i for i in range(10)]# [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]L[5] = "Machine Learning"L# [0, 1, 2, 3, 4, 'Ma
2021-09-30 20:57:39
265
原创 05-KNN 基础学习
本文素材均来源于网络，参考黑马与网易教程一、什么是KNN算法1.KNNKNN是机器学习里面一个比较经典的算法，又被称之为K近邻算法（K Nearest Neighbor），同样也是一个非常容易理解的算法。定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。2.公式正如两个样本之间的距离如下图公式所示：本文中我们采用的数据集均放置于Scik...
2021-09-30 20:46:20
864
原创 02 jupyter 魔法命令(调包 调.py 时间等等)
一、 %run 执行文件1. 执行同文件夹下的 .py文件%run hello.py2.执行不同文件夹、不同文件夹多个.py文件# 方法1 import函数名import Mymodule.FirstMLMymodule.FirstML.predict(1)# 方法2 from import函数名from Mymodule import FirstMLFirstML.predict(2)二、%load 读取文件内容1. .py文件的加载（加载单一模板）...
2021-09-29 21:30:48
509
原创 01.用Numpy手搓一个三层神经网络解决XoR分类问题
一、前言本文参考了以下几篇文章1.BP神经网络算法 python实现BP神经网络算法 python实现 - 人工智能 - 电子发烧友网2.一个简单神经网络的代码实现一个简单神经网络的代码实现_神童i的博客-CSDN博客3.深度学习基础之-5.1非线性分类-二分类深度学习基础之-5.1非线性分类-二分类（神经元解决异或问题）_Susan Wong-CSDN博客二、两层神经网络实现线性分类问题1. 采用算法预测下表结果（线性）2. 修改表格为非线性后无法预测三、三层.
2021-09-26 14:18:00
1302
原创 01. Ubuntu20.04下安装jupyter notebook (pycharm) 以及简单的jupyter操作
目录一、jupyter简介二、Ubuntu20.04下安装jupyter1.更新和升级包2.安装和更新pip33.使用pip3安装jupyter（还有一种方法用anaconda进行安装）三、环境测试1. 从pycharm中检查配置是否正确 File ->Settings ->python interpreter->jupyter2. 通过pycharm终端 打开jupyter3. 简单例子示范3.1建立一个Python3代码命名为jupyte..
2021-08-24 21:18:49
3404
原创 0.0 Windows + Linux（Ubuntu20.04） 超简单的双系统安装
目录一、U盘启动盘的制作1. 下载操作系统2 .下载U启动制作工具二、磁盘分配三、Ubuntu20.04系统安装1.修改bios为U启动2.安装配置Ubuntu2.1 Install Ubuntu2.2 安装关键之处在于分区2.3 剩余的简单配置三、启动项管理一、U盘启动盘的制作1. 下载操作系统准备一个 4G 以上的空U 盘，如果内部有资料必须进行备份，后期U盘需要格式化。ubuntu 的官网（https://ubuntu.com/）下载你想..
2021-08-22 02:19:16
2261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人