- 博客(9)
- 收藏
- 关注
RSS订阅原创 Knowledge distillation 代码实现（简易版）
Knowledge distillation 代码实现（简易版）定义ResNet（教师模型）下载CIFAR10数据集并预处理# 设置训练集图片预处理transform_train = transforms.Compose([ # 随机裁剪成32x32并做padding=4的填充 transforms.RandomCrop(32, padding=4), # 以给定概率水平翻转图片，默认概率为0.5 transforms.RandomHorizontalF
2021-09-15 12:57:04
329
原创 Distilling the Knowledge in Nerual network
神经网络中的知识蒸馏简介（introduction）笨重的模型在学习区分大量的类别时通常最大化正确答案的平均对数概率，但学习的副作用时训练模型会为所有错误答案分配概率，即使这些概率非常小，其中一些也比其他概率大得多（宝马车图片被误认为垃圾车的概率比被误认为胡萝卜的概率高得多）想要网络在新样本上有较好的泛化效果→需要正确泛化方法的信息（难以获得）大网络泛化能力较强（多个模型的集合或其他原因）→从大模型中蒸馏知识使得可以以与大模型同样的泛化方式去训练网络→通常在测试数据上比在用于集成训练的同样训练集以
2021-09-15 12:09:59
90
原创 循环神经网络
循环神经网络梯度问题梯度爆炸：梯度大于某个阈值时放缩梯度向量（梯度修建）梯度消失：①GRU单元，设立新变量c，再t处有c=a 每个时间步用一个候选值来重写记忆细胞的值 设立两个门Γu和Γr，Γu决定是否更新c，Γr代表c和c的相关系数 ②LSTM单元：c!=a 将句子前面部分的信息通过记忆细胞c传递到句子后面，便于预测单词。GRU：简单，便于创建更大的网络，两个门计算较快LSTM：三个门，更加强大灵活双向循
2021-09-15 12:05:17
105
原创 知识蒸馏(Knowledge Distillation)
知识蒸馏(Knowledge Distillation)从大型、深层的教师网络中提炼知识并转移到小型、简单的学生网络中更深更广→更浅更薄[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LtOe5CiH-1631343439036)(F:\Blog\image\知识蒸馏1.PNG)]知识(Knowledge)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mQBacMmn-1631343439039)(F:\Blog\image\知识蒸馏2
2021-09-11 14:57:40
2595
1
原创 神经网络模型训练步骤
神经网络模型训练步骤导入相应的包下载数据并进行相应处理使用dataloader加载数据集创建网络模型（model文件中进行测试网络是否正确）定义损失函数、优化器以及学习率等参数添加tensorboard（可选）进行训练（可将网络设为训练状态）：读取数据并喂给模型，记录输出利用输出和目标计算损失函数重置网络参数梯度为0计算网络梯度并更新进行测试（训练一定次数后）（可将网络设置为验证状态）中途可保存\加载模型利用GPU训练调用网络模型、数据（输入，标签）、损失函数的cu
2021-09-11 14:51:59
1431
原创 卷积神经网络
卷积网络人脸识别问题one-shot learning:只能通过一个样本进行学习similarity function:d(img1,img2)=degree of difference between img1 and img2siamese 网络架构：对于不同图片运行相同的卷积神经网络，得到特征向量f(X)后进行比对f(x)需要能够很好的代表图片将similarity 函数定义为f(img1)和f(img2)之间的距离，即d(img1,img2)=||f(img1)-f(img
2021-09-11 14:50:41
55
原创 基本DOS命令
cmd 打开方式开始+系统+命令提示符win键+R 输入cmd任意文件夹下，按住shift键+鼠标右键点击，在此处打开命令行窗口资源管理器的地址栏前面加上cmd 路径常用Dos命令切换盘符 : 盘名 + :查看当前目录下所有文件： dir切换目录： cd /d 路径（跨盘符切换） cd … 返回上一级 cd 文件（夹）名 （进入子目录）清理屏幕：cls退出终端：exit查看电脑ip：ipconfigping命令：ping www.baidu.com
2021-09-11 14:50:01
39
原创 Distilling the Knowledge in Nerual network
神经网络中的知识蒸馏简介（introduction）笨重的模型在学习区分大量的类别时通常最大化正确答案的平均对数概率，但学习的副作用时训练模型会为所有错误答案分配概率，即使这些概率非常小，其中一些也比其他概率大得多（宝马车图片被误认为垃圾车的概率比被误认为胡萝卜的概率高得多）想要网络在新样本上有较好的泛化效果→需要正确泛化方法的信息（难以获得）大网络泛化能力较强（多个模型的集合或其他原因）→从大模型中蒸馏知识使得可以以与大模型同样的泛化方式去训练网络→通常在测试数据上比在用于集成训练的同样训练集以
2021-09-11 14:49:11
67
原创 markdown学习
markdown学习标题一级标题（# 标题）二级标题（## 标题）三级标题（### 标题）以此类推（最多6级）字体正常：hello world粗体：hello world （前后各加两个*）斜体：hello world（前后各加一个*）粗体+斜体:hello world (前后各加3个*)划去线：hello world （前后各加两个波浪号~）引用凡是过往，皆为序章——莎士比亚 (> 引用语句）分割线（三个减号-）（三个*）图片
2021-04-09 00:19:14
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人