【数据竞赛】kaggle竞赛宝典-多分类相关指标优化​

↑↑↑关注后"星标"kaggle竞赛宝典

 kaggle竞赛宝典 

作者: 尘沙杰少、谢嘉嘉、DOTA、有夕

赛题理解，分析，规划之多分类相关指标优化

这是一个系列篇，后续我们会按照我们第一章中的框架进行更新，因为大家平时都较忙，不会定期更新，如有兴趣欢迎长期关注我们的公众号，如有任何建议可以在评论区留言。

1. kaggle竞赛宝典-竞赛框架篇！

2.1 赛题理解，分析，规划之赛题理解与分析上半篇!

2.2  kaggle竞赛宝典-回归相关指标优化!

2.3  kaggle竞赛宝典-二分类相关指标优化

4.1 kaggle竞赛宝典-样本筛选篇！

4.2 kaggle竞赛宝典-样本组织篇！

1. categorization accuracy

1.1 定义

其中， 为测试样本的个数， 为第 个样本的标签， 为预测的第 个样本的类别。

1.2 案例

1. What's Cooking?

2. Anomaly Detection Challenges 2015 - Challenge 2

3. Ghouls, Goblins, and Ghosts... Boo!

4. Cdiscount’s Image Classification Challenge

5. Sentiment Analysis on Movie Reviews

1.3 求解

使用multiclass第对应的损失函数，

• 表示第 个样本标签为 的情况，如果标签为 则是1，反之为0。 则是模型预测样本 属于第 的概率。

2. MultiLogloss

2.1 定义

其中， 为测试样本的个数， 为类标签的个数。

2.2 案例

1. San Francisco Crime Classification

2. Telstra Network Disruptions

3. TalkingData Mobile User Demographics

4. Walmart Recruiting: Trip Type Classification

5. Shelter Animal Outcomes

6. The Nature Conservancy Fisheries Monitoring

7. Two Sigma Connect: Rental Listing Inquiries

8. Personalized Medicine: Redefining Cancer Treatment

2.3 求解

针对准确率问题，目前常采用的损失函数为multiclasslogloss ，其数学形式如下：

直接进行优化即可。

3. MAP(Mean Average Precision )

3.1 定义

其中 为用户的个数， 为在截止点 处的精度(Precision)， 是预测物品的数量， 是给定用户购买物品的数量。如果 ，则精度定义为0。

3.2 案例

1. Coupon Purchase Prediction

2. Facebook V: Predicting Check Ins

3.3 求解

使用sigmoid_cross_entropy，注意与其它常用的多分类损失函数的区别。

4. Mean F1

4.1 定义

4.2 案例

1. Transfer Learning on Stack Exchange Tags

4.3 求解

• Top5有一名开源的选手选用的是Mean square Loss进行的优化.

5. Average Jaccard Index

5.1 定义

两个区域 和 的Jaccard Index可以表示为：

其中TP表示True positive的面积，FP表示false positive的面积，FN表示false negative的面积。

5.2 案例

1. Dstl Satellite Imagery Feature Detection

5.3 求解

• 基于Sigmoid的损失函数。

参考文章

1. 损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系：https://blog.csdn.net/sjyttkl/article/details/103958639

2. https://github.com/nagadomi/kaggle-coupon-purchase-prediction

3. https://github.com/viig99/stackexchange-transfer-learning

4. https://deepsense.io/deep-learning-for-satellite-imagery-via-image-segmentation/

5. https://arxiv.org/pdf/1505.04597.pdf

6. https://github.com/toshi-k/kaggle-satellite-imagery-feature-detection

往期精彩回顾



适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站qq群704220115，加入微信群请扫码：