coreset construction for machine learning

coreset construction for machine learning

最近碰到了coreset，就大概看了一下。把简要的一些内容和大家分享一下（内容有点多，就只挑我认为的关键点）

coreset简介

为什么需要

这个有点多余，基本上面临大数据集的情况，一个是分布式的机器学习方法来进行处理，另一个是对数据集进行提炼，coreset就是为此而生；

什么叫coreset

简单来讲，就是从大数据集中选出一部分小量带权重的数据集，在这部分数据集的模型训练结果和全数据集的训练差别不大。
定义：
$|cost(X,Q) - cost(C,Q)| <=\varepsilon \ cost(X,Q)$
这里X可以看做是全体数据集，Q可以看做是function，cost是机器学习的成本函数 C是选出来的数据集。满足上述条件的C则被称为$\varepsilon$-coreset

如何产生coreset ：via importance sampling

这里关键的数据指标有两个，一是数据集有多大，二十按照什么指标进行挑选其中数据；
每个数据点的挑选按照概率q来进行，一直抽取到m个，挑选后的数据集的权重服从
这里就主要是两个问题，一是如何确定数据集大小m，一个是如何选择m个样本点
$\mu_C(x) = \frac{\mu_\chi(x)}{m q(x)}$
这里引入一个概念，sensitivity 评估每个数据点对目标函数的影响
$\sigma(x) = sup\frac{f_Q(x)}{\sum\mu(x) f_Q(x)}$
$s(x) 可以看做\sigma(x)$
$S = \sum \mu_\chi(x) s(x)$
$q(x) = \frac{\mu_\chi(x)s(x)}{S}$
这里f是我们训练的函数，u是数据集本身的权重；

那下一步重点是m大小的确定，直接放截图吧。

里面这个$g_Q(x)$搞不懂怎么设计的，但是设计完这个函数后，可以一步步推到到m的大小；

这里针对的q是single query，如何理解single query，我的理解是在整个探索空间的一个函数方式。那其实整个探索空间很大，我们挑选模型，逻辑回归或者其他的时候，其实探索空间很广。这里假定的是我们的w都已经确定了，那么在w不确定情况下，其实是一个很广的搜索空间。针对全部都搜索空间，我们应该如何应对。这里面探讨的主要是vc维，也就是探索空间的维度对coreset的影响。
找时间再写在这里。

另外，如何寻找$\sigma(x)$ 是与具体机器学习算法强绑定的。要计算的还是比较困难的。。。
paper链接放上
http://cn.arxiv.org/pdf/1703.06476v2