DS/DP
文章平均质量分 96
关于数据处理
lijfrank
Life is too short, recording the fragments of studying.
展开
-
处理不均衡数据(imbalanced data)的几种方法
在进行机器学习,深度学习任务时,经常会碰到数据不均衡的问题。如果数据严重失衡甚至会导致训练后的模型对任何样本都判别为训练数据中占比较多的一类。1、算法改进可以使用一些优化技巧让模型更加关注占比较少类的样本。从而使模型能专注学习此类的特征,而不是过多的关注样本数量较多的类别。例如使用focal loss。也有其他更多的解决类别不均衡的loss函数。所有之前的方法注重数据,并保持模型不变。...原创 2020-02-11 16:28:26 · 5144 阅读 · 0 评论 -
生成对抗网络(GAN)
简介生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始 GAN 理论中,并不要求 G 和 D 都是神经网络,只需要是能拟...原创 2020-02-11 12:59:43 · 12264 阅读 · 0 评论 -
SMOTE过采样处理不均衡数据(imbalanced data)
关于不均衡数据(imbalanced data)的相关介绍和处理方法,可以参见处理不均衡数据(imbalanced data)的几种方法,本文主要介绍SMOTE过采样处理不均衡数据。SMOTE全称是Synthetic Minority Oversampling Technique,即合成少数类过采样技术。它是基于随机过采样算法的一种改进方案,因为随机过采样算法容易产生模型过拟合的问题,使得模型...原创 2020-02-21 21:30:43 · 16289 阅读 · 1 评论