- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MIT-TinyML学习笔记【6】DoReFa-Net
本文是在学习TinyML L06时，因为视频没有新版slides中的内容，所以找来DoReFa-Net原文看看，看了很久才大致看懂，看了一些大佬的博客，但是他们没有描述更多细节，所以小白自己记录一下Obitwidth1×bitwidth2quantizekri∈01ro∈01。
2023-07-22 19:30:06
137
原创 MIT-TinyML学习笔记【5】Quantization2
PACT(Parameterized Activation Threshold)是提出的第一个带训练参数的量化感知训练模型，相对于 Dorefa-Net而言，其在激活值量化层面上引入了可学习的参数 𝛼表征输出激活值的可量化最大值，也即量化范围。一个常见的假设是，量化误差是无偏的，因此在一个层的输出中被抵消，确保一个层的输出均值不会因为量化而改变。为了最小化accuracy的损失，尤其是在4bit或更少bit位宽的量化中，神经网络会采用量化后的权重和激活进行训练和fine-tuned。
2023-07-22 19:18:40
200
原创 MIT-TinyML学习笔记【2】Lab1
This colab notebook provides code and a framework for Lab 1 Pruning. You can work out your solutions here.Please fill out this feedback form when you finished this lab. We would love to hear your thoughts or feedback on how we can improve this lab!In this
2023-07-14 11:33:28
219
2
原创 MIT-TinyML学习笔记【3】Pruning续
同样的RTL代码没有变化，同样的硬件处理流程，但是根据硬件部署的特性返回去再对算法进一步优化，使得在精度几乎没有什么损失的情况下，速度进一步提升。对于更大的模型而言，我们不能拿到pattern之后直接应用得到sparsity network然后从头开始训练（随机初始化的weights），重新排列通道的处理顺序 ，使得每个group中不同的线程处理相同数量的卷积核计算，重新排列后分别为22，33，44。对每一层，采用不同的sparsity，然后绘制图像，有助于手工设置不同层不同的压缩率。
2023-07-14 11:21:00
131
1
原创 [不爱折腾的小张]-obsidian图床配置记录
picgo+gitee的方案一开始从notion转用ob的时候发现粘贴图片会在文件夹下直接保存图片，感觉很不友好。还参考了一些博客用typora打开，设置自动保存在"当前笔记名-image"这种新建文件夹下，刚开始还能凑合用，用了两天就感觉文件夹太多了好烦，毕竟几乎所有的笔记都需要插图，所以在网上一顿搜索最后确定了picgo+gitee的方案，感觉比较友好，记录一下。1. 配置picgoPicGo官网下载1.1 插件安装picgo-plugin-gitee-uploader可能会提示要求
2022-03-23 13:16:40
1062
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人