![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习-分类
文章平均质量分 51
大饼博士_cqqian
一名转行敲代码的力学专业的土博,奔跑在成为合格码农的道路上。。。
展开
-
Pytorch只对指定层进行梯度求解设置
代码来源:zheng-ningxin/Pruning-from-scratch (github.com)使用了lambda表达式并结合filter函数,生成需要求梯度参数的迭代器,具体代码如下:# 冻结所有模型参数for para in model.parameters(): para.requires_grad = False# 只更新BN层的参数for layer in model.modules(): if isinstance(layer, nn.Batc...原创 2021-07-07 15:44:26 · 1184 阅读 · 0 评论 -
混淆矩阵绘制
混淆矩阵绘制代码有些参考了其他博客from sklearn.metrics import confusion_matriximport matplotlib.pyplot as pltimport itertoolsdef plot_confusion_matrix(cm, classes, normalize=False, cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix.原创 2021-06-10 16:14:32 · 491 阅读 · 0 评论 -
使用WeightedRandomSampler处理类不平衡(PyTorch)
使用WeightedRandomSampler处理类不平衡(PyTorch)参考博客:博客一:Address class imbalance easily with Pytorch | by Mastafa Foufa | Analytics Vidhya | Medium播客二:Address class imbalance easily with Pytorch Part 2 | by Mastafa Foufa | Towards Data Science类不平衡如论文所给出的结论,处理类不原创 2021-05-13 15:19:52 · 5635 阅读 · 3 评论 -
训练递归神经网络的挑战--梯度消失爆炸
本文为Charu C. Aggarwal的一书的笔记。由于递归神经网络中,不同层敏感度的变化和共享的参数,导致网络具有较大的不稳定效应,如,梯度消失和梯度爆炸(vanishing and exploding gradient)。解决这一问题的方法有以下几种:1. 对训练参数应用强的正规化但是非常强的正规化,会导致模型无法达到其全部的潜能。2. 梯度截断 gradient clipping梯度截断主要有两种形式:2.1 基于数值的截断 value-based clipping在对梯度进行相加前原创 2020-07-29 16:50:21 · 335 阅读 · 0 评论 -
分类:类不平衡问题的解决方法
分类:类不平衡问题的解决方法现实世界的数据集通常会存在**类不平衡(class imbalance)**问题,具有较少样本的类,由于模型习得的较少,因而更容易被误分类。极端情况下,所设计的网络会直接忽略小样本类。解决这一问题的方法,主要有,对小样本类进行重采样:SMOTE修改loss 函数:Focal loss,CEFL loss / CEFL2 loss对小样本进行重采样:SMOTE这部分的详细内容可参考博文:https://blog.csdn.net/qian_chun_qiang/ar原创 2020-07-27 13:39:01 · 810 阅读 · 0 评论