AI人工智能
小关_同学
这个作者很懒,什么都没留下…
展开
-
【面试必备】之《样本不平衡》
训练样本不平衡 (1) 数据层面:上采样和下采样 上采样是指增加少样本类别的样本数量,如随机过采样、SMOTE多采样 但是这样相当于在训练集中添加了噪声,从而导致模型过拟合 下采样是指通过对多样本类别的样本进行有放回的随机抽样,从而与少样本类别的样本数量取得平衡。但这样做就丢掉了一部分原始样本,从而导致模型过拟合。 (2) 算法层面 选择对数据倾斜不敏感的算法:如随机森林 调整样本权重:增加损失函数中少样本类别中样本的权重,有点像adaboost (3) 损失函数层面 增加损失函数中少样本类别中样本的权值.原创 2020-06-16 15:08:16 · 180 阅读 · 0 评论 -
【面试必备】之《深度神经网络一路走来所遇到的的问题》
(1)过拟合 内容解析: 解决方法 (2)梯度消失/爆炸 内容解析: 解决方法: (3)内部协方差偏移 内容解析: 解决方法 (4)模型退化 内容解析: 解决方法原创 2020-06-16 14:21:01 · 198 阅读 · 0 评论 -
【面试必备】之《Batch Normalization》
BN解决了梯度消失的问题,使得深度神经网络可以收敛,但并不能保证收敛后的网络就一定比浅层网络有更好的性能(即会出现网络退化问题,所以后来出现了残差网络,来解决这个网络退化的问题)。 传统的神经网络,只是在样本输入时对样本进行标准化处理,以降低样本特征之间的差异性。 与此同时,BN主要解决的是所谓的内部协方差偏移问题(Internal Covariate Shift)。内部当然就是指深度神经网络的内部,也就是除去输入层之外的隐藏层加上输出层,因为对于输入层而言,我们可以通过各种标准化归一化的手段使其输入数据属原创 2020-06-12 11:24:51 · 173 阅读 · 0 评论 -
【面试必备】之《常见的过拟合处理方法》
机器学习 (1)正则化 (2)决策树剪枝 (3)随机森林中的特征随机性 (4)交叉验证 (5)XGBoost中的shrinkage 深度学习 (1)正则化 (2)early stopping (3)CNN网络中的权值共享 (4)dropout原创 2020-06-12 11:24:59 · 189 阅读 · 0 评论