论文笔记：ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learn

这篇文章是上一篇Membership Inference Attacks Against Machine Learning Models的跟踪研究，其提出了三个攻击模型，将上一篇中的模型一步步简化。
第一个攻击模型是将上一篇中的影子模型数量降到一个，发现实验效果不会有啥下降。
第二个模型放宽攻击者对目标模型训练集的限制，认为攻击者可以对其一无所知。影子模型的训练集采用的是和目标模型不同领域的数据集。然后发现大多时候仍能取得不错的效果。这就比较玄幻了。
其实玄幻个锤子，这其实完全证明了我在上一篇最后的那个猜想，这种所谓成员推理攻击就是利用目标模型在训练数据上输出向量熵值低而在非训练数据上熵值高而已。文章的第三个攻击模型就是对这一猜想的验证，其直接将预测向量中的最大分量与一个阈值比对，超过阈值则认为是训练数据，否则就是非训练数据。
所以，这两篇文章，搞了一大堆实验，提出了个看似很牛逼的“成员推理攻击”，其实就是实验验证了下我们直观的认识：机器学习模型在训练数据上信心大，给出的预测向量往往是（0.1，0.1，0.8）这种；而在没见过的数据上，给出的大多是（0.3，0.3，0.4）这种。
对于这种文章，我不得不评论一句：傻逼！

向这种限制条件比较苛刻，对机器学习模型只有black-box查询权限的情况，我觉得这种“成员推理”是不现实的，就给你一个预测向量你推毛成员——你怎么保证成员和非成员不会拥有相似的预测向量？换个角度，两个完全不一样的数据集，完全有可能得到相同的机器学习模型。用SVM想想，这很容易做到。

在这种限制下，具体“成员推理”不现实，但是根据预测向量来复原训练数据集的一些统计特征应该是可以实现的，可以搞搞。