- 博客(28)
- 收藏
- 关注
RSS订阅原创 无数据蒸馏方向文献_1
初认无数据知识蒸馏写在前面Large-Scale Generative Data-Free DistillationIntroduction & Related Work具体实现知识蒸馏图像生成模型Inceptionism lossMoment matching loss总损失函数实验结果CIFAR-10CIFAR-100ImageNet写在前面 上大学前，或者说一直到大二期末考前，我都以为大学的考试是一周内解决的“考试周”，大二后，考试战线越来越长。大三期末考时间直接拉长到一个多月，从12周
2021-12-01 20:03:45
1003
1
原创 第一阶段_剪枝方向文献+个人理解
前段时间搞了一个FPGA竞赛，创新了（也不知道是不是首创，反正自己没见过别人用就是自己首创）一个很没道理的Ts Pruning（当时就想到了The Shy），设计了一个很拉跨的加速器…有一段时间没看文献了，现在竞赛结束了也复习一下自己之前看得文献。说说个人理解，真的是纯个人见解，欢迎讨论。结构化剪枝。 在项目早期看得大部分文章都是结构化剪枝，主要是那时候对剪枝的了解还不是特别深入，现在感觉近几年结构化剪枝的文章意义不是特别大，看多了有点浪费时间。顶会的文章提出一个看起来比较新颖的想法能把sota给提升
2021-11-18 01:09:04
692
1
原创 数字IC，计算机体系结构方向导师。
中科院计算所智能处理器组陈云霁、郭崎、胡杏、杜子东、李威、张曦珊、支天高性能高通量复旦大学：曾璇：模拟电路设计自动化、高速互连电路分析和综合、可制造性设计研究、并行EDA算法研究。杨帆：人工神经网络加速、高层次综合方法、大规模电路快速分析建模俞军：FPGA和人工智能可重构计算平台、大数据与AI算法处理加速技术与实现王伶俐：FPGA结构与应用加速、集成电路设计与EDA算法、可重构计算吴昌：RTL综合与优化、FPGA与高性能计算、软硬件一体化异构计算平台算法设计、深度神经网络计算体系结构与编
2021-09-16 23:59:08
1408
原创 模型压缩文献笔记_3：彩票假设及其家属。
剪枝文献粗读笔记_2HYDRA: Pruning Adversarially Robust Neural NetworksWhat's Hidden in a Randomly Weighted Neural Network?HYDRA: Pruning Adversarially Robust Neural Networks 神经网络的剪枝和鲁棒性研究各自为阵，一般的剪枝都没有考虑过模型的鲁棒性，剪完后的模型鲁棒性很差。这篇文章联合考虑了模型剪枝和鲁棒性，使模型在进行剪枝时能够感知到鲁棒性的变化——
2021-08-28 17:48:36
1751
原创 剪枝方向文献粗读笔记_1
文献粗读：Channel Gating Neural NetworksNeuron-Level Structured Pruning using Polarization RegularizerSCOP: Scientific Control for Reliable Neural Network PruningProvable Filter Pruning for Efficient Neural NetworksChannel Gating Neural Networks文章1地址 提出了一个动
2021-08-18 15:36:58
1416
1
原创 动态剪枝方向文献笔记：Feature Boosting and Suppression, Runtime Neural Pruning
剪枝方向文献笔记：写在笔记之前的话文章1：Dynamic Channel Pruning: Feature Boosting and Suppression摘要：存在的问题：具体实现：个人想法：文章2：Runtime Neural Pruning摘要：存在的问题：具体实现：State：Action：Reward:具体算法：实验效果和分析：个人想法：写在笔记之前的话 博主是一名刚刚进入大三的本科生，正在做一项关于模型压缩的科研项目。之前一直是在ipad在notebility上做笔记，但实在无法忍受自己
2021-08-15 00:41:01
3219
5
原创 pytorch学习_Autograd & Optimization
神经网络中最常用的算法就是BP算法，模型中的参数根据损失函数的梯度来确定。为了确定这些梯度，Pytorch有一些内置的引擎，叫torch.autograd。一个最简单的一层网络模型。import torchx = torch.ones(5) # input tensory = torch.zeros(3) # expected outputw = torch.randn(5, 3, requires_grad=True)b = torch.randn(3, requires_grad=Tr
2021-07-23 14:52:57
378
原创 Pytorch学习_Transforms & Build Model
主要是给自己用来复习的博客，同学们第一次学习的话可以去看官网的tutorials，那里有更详细的解释。Pytorch官方Transforms的tutorialsTransformsDataset或者Dataloader里的数据，往往不能直接作为训练用的数据，它们还要经过一些处理，这个处理的过程就是Transforms。所有TrochVision的数据集都有两个参数，transform和target_transformFashionMNIST的特征图时PIL Image 标签时integers型的，
2021-07-18 12:21:19
637
原创 pytorch学习_Dataset & Dataloader
同样是跟着Tutorial学的，博客主要是给自己看笔记。其他人首次学习可能还是直接看Tutorials效果更好一点。Pytorch官方Totorial Datasets & DataLoaders数据集Pytorch提供了两个数据基元（不知道这样翻译准不准确，原文是data primitives）分别是torch.utils.data.DataLoader和torch.utils.data.Dataset，这两个基元允许你使用（pytorch)预先加载好的数据和你自己的数据。其中，后者Data
2021-07-17 16:01:27
331
1
原创 Pytorch学习_Tensors
虽然之前有tensorflow的基础，但还是想从头系统的学一边pytorch，跟着tutorial走一遍。另外tutorial写的真的非常仔细非常好，这篇博客主要是给自己复习用的，其他人可能直接看tutorial比较好。https://pytorch.org/tutorials/beginner/basics/tensor_tutorial.htmlpytorch的张量和numpy的张量在底层用的是一块存储器，可以减少copy的操作。两者互通。定义tensor的方法data = [[1, 2],[
2021-07-17 11:52:35
122
原创 Verilog_HDLBits_4(Procedure)
The syntax for code inside a procedural block is different from code that is outside. Procedural blocks have a richer set of statements (e.g., if-then, case), cannot contain continuous assignments*, but also introduces many new non-intuitive ways of making
2021-04-05 15:56:02
183
原创 Verilog_HDLBits_3(Hierarchy)
The hierarchy of modules is created by instantiating one module inside another, as long as all of the modules used belong to the same project (so the compiler knows where to find the module). The code for one module is not written inside another module’s b
2021-04-05 13:44:39
309
原创 Verilog语言 HDLBits_2 ( vector )
module top_module ( input wire [2:0] vec, output wire [2:0] outv, output wire o2, output wire o1, output wire o0 ); // Module body starts after module declaration assign outv = vec; assign o0 = vec[0]; assign o1 = vec[1];...
2021-03-27 16:52:26
412
原创 Verilog语言 HDLBits_1
Getting Start:Build a circuit with no inputs and one output. That output should always drive 1 (or logic high).module top_module( output one );// Insert your code here assign one = 1;endmoduleBuild a circuit with no inputs and one output tha
2021-03-25 23:47:21
192
原创 Coursera_PKU_C++_继承与派生
概念：在定义一个新的类B时，和某个已有的类A相似（指B拥有A的全部特点），那么就可以把A作为一个基类，而把B作为基类的一个派生类。（子类）提高重用性。派生类是通过基类修改和扩充得到的。派生类拥有基类全部的成员函数和成员变量。但不能访问基类中private成员。派生类的写法：class 派生类名 : public 基类名{...}；Example：学生管理程序。class CStudent{ //基类，包括所有学生的共性。 private: string sName; i
2020-10-14 22:18:39
230
原创 Coursera_PKU_C++_运算符重载
基本概念：+，-，*…操作只能用于基本的数据类型。（就如整形，实型，逻辑型等）允许用户定义自己的数据类型——类。对类的成员函数进行操作时很不方便。如：复数类，在VS中，直接讲+ - 作用在复数类上是不允许的。运算符重载能对抽象数据类型也能够直接使用C++提供的运算符。这样能让程序更简洁，代码更容易理解。运算符重载：对已有的运算符赋予多重含义。使同一运算符作用域不同数据类型时产生不同的行为。扩展了C++中运算符的适用范围，以用于类所表示的抽象数据类型。运算符重载的实质就是函数的重载。c
2020-10-06 16:41:48
141
原创 Coursera_Stanford_Algorithms_Karatsuba/Merge sort
Coursera上斯坦福的算法课。为了提升英语水平特地去听的全英版的，可能需要适应一段时间。用的教材是 Algorithms Illuminated。上课讲的东西几乎和教材一致。课上有不懂的东西就直接去逼站搜机翻的视频或者看教材。第一节课是导入，讲了Karatsuba的大数相乘的算法，和Merge sort（递归排序），以及大欧，西塔，欧米噶这些符号。后三个符号在学校的数据结构课上老师有讲过。但毕竟不是计算机专业，老师讲的没这么深入，只是停留在“感性”认识的阶段。这门课中的定义方法有点数学分析的感觉。很舒
2020-10-05 16:06:22
167
原创 Coursera_北大_C++_内联/构造/析构/静态/友元/this指针/常
内联函数：当编译器访问的时候，把函数定义的语句直接插入到主语句。减少内存开销。定义方法：inline + 成员函数整个函数体出现在类定义内部。class B{ inline void func1(); //利用inline，定义内联函数。 void func2(){};//整个func2（）的函数放在类的内部也标志着内联函数。};void B::func1(){}//具体定义可以放在类外。函数的重载：成员函数–带缺省参数。#include <iostream>usi
2020-10-03 23:47:57
151
原创 Coursera_北大_C_language_结构体 & 链表
结构体：用一组变量来描述同一个“事物”定义与赋值：struct student //名字为student的结构体类型。{ int id; char name[20]; char sex; int age; float score; chaar addr[30];};student不是一个变量，而是一种数据类型。用来定义变量的东西。是组合数据类型。利用结构体定义变量：法1：student student1,student2;和传统变量定义一样。法2：struct stud
2020-09-13 21:41:26
136
原创 Coursera_北大_C_language_指针
指针：变量的地址称为指向该变量的指针。利用取地址运算符 & 可以获得变量的地址。如cout << &c << endl;就可以获得变量c的起始地址。其中一个变量的指针占用四个字节 （VC++2013环境）利用指针运算符 * 可以访问地址里的资源。如cout << *&c << endl;就可以访问&c地址里的内容。指针变量：存放指针的变量。（说了好像和没说一样）定义指针变量：int *pointer;in
2020-09-12 16:31:02
183
原创 Coursera_北大_C_language_字符与字符串
字符数组的初始化：char c[] = {'C','h','i','n','a'}char c[] = "China" //结果会有六个字符，最后一个c[5]是 \0//上面这个方法只能在定义阶段，也就是和char一起使用。正确的赋值方法：char str1[] = "C++language",str2[20];int i = 0;while (str1[i] != '\0'){ str2[i] = str1[i]; i++;}str2[i] = '\0';于是就实现了把
2020-08-22 11:22:01
165
原创 MOOC_北理_Python爬虫学习_7（Scrapy库）
框架介绍：Scrapy不是一个函数功能库，而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是个半成品，能帮助用户实现专业网络爬虫。5+2模块。构成scrapy框架。3条主要数据流路径：SPIDERS --（获得爬取请求，request，一个url）–> ENGINE --> SCHEDULER（负责对爬取请求进行调度）SCHEDULE --（获得下一个爬取的网络请求）–> ENGINE --（通过中间键发送给下一个模块）–>
2020-05-21 22:12:52
438
原创 MOOC_北理_Python爬虫学习_6（Re 正则表达式库）
正则表达式：regular expression / regex / RE通用的字符串表达框架。简介表达一组字符串的表达式。针对字符串表达“简介”和“特征”的思想工具判断某字符串的特征归属一组字符串：‘PY’ ‘PYY’ ‘PYYY’ …正则表达式： PY+一组字符串： ‘PY’ 开头，后续存在不多于10个字符，后续字符不能包含’P’或’Y’。正则表达式： PY[^PY]{10}作用：表达文本类型的特征（病毒、入侵等）同时查找或替换一组字符串。匹配字符串的全部或部分。主要应用在
2020-05-16 15:40:26
343
原创 MOOC_北理_Python爬虫学习_5（大学排名爬虫）
这是一章实战。。然后看课程前尝试着能不能自己爬取，一番尝试下成功是成功了。方法一：import requestsfrom bs4 import BeautifulSoupurl = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"html = requests.get(url)html.encoding = html.apparent_encodingtxt = html.textsoup = BeautifulSoup(txt,
2020-05-15 21:21:35
177
原创 MOOC_北理_Python爬虫学习_4 （信息标记与提取方法）
信息标记的三种形式HTML（超文本标记语言）的信息标记：将声音视频图像等超文本信息嵌入到文本中。HTML通过预定义的<>…</>标签形式组织不同类型的信息。信息标记的三种形式：XML、JSON、YAML1. XML：扩展标记语言 eXtensible Markup Language 以标签为主表达信息。与html的格式非常接近。<img src="china.jpg" size="10">...</img> 注释也是 <!....>形式。
2020-05-13 22:52:02
252
原创 MOOC_北理_python爬虫学习_3（Beautiful Soup库相关）
Beautiful Soup 库Beautiful Soup 的使用。>>> from bs4 import BeautifulSoup>>> soup = BeautifulSoup('<p>data</p>',"html.parser")'''parser为解析器。具体啥意思不知道。。。'''实际操作：>>> import requests>>> r = requests.get("http:/
2020-05-11 20:08:21
265
原创 MOOC_北理_python爬虫学习_2（入门入门入门级实战）
网络爬虫规则对一般服务器，对爬虫限制有：来源审查。 检查HTTP协议头，判断User-Agent进行限制。只响应浏览器和友好爬虫的访问。Robots协议。在网站根目录下的robots.txt文件中。建议，但非约束性。若访问量很小，不对服务器造成影响，和人类访问行为类似，可以不参考robots协议。 如京东的robots协议：http://www.jd.com/robots.txt/ 代表根目录 * 代表所有 如： User-agent: * Disallow:/实例：1. 京东、
2020-05-11 00:07:28
542
原创 Mooc_北理_Python爬虫学习_1（requests库相关）
request 库的 get 方法。r = requests.get(url)requests.get(url,params=None,**kwargs)#url: 拟获取页面的url链接。#params：url中的额外参数，字典或字节流格式，可选。（字节流格式是啥？）#**kwargs：12个控制访问的参数。request 提供七种常用方法。但最基本的只有 request 方法，其他六种方法都是其中着一种方法的“简化版”。属性表格r.status_codeHTTP请求的
2020-05-09 17:09:35
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人