DATE: June 29, 2024

二阶矩

第二阶矩（Second Moment）通常用于描述随机变量的分布特性，特别是其离散程度。对于一个随机变量 X X X，其第二阶矩定义为
X X X关于其期望值的平方差的期望值，通常称为方差。数学上，第二阶矩可以表示为：

E [ ( X − E [ X ] ) 2 ] \mathbb{E}[(X-\mathbb{E[X]})^2] E[(X−E[X])2]

在某些情境下（如代码中的计算），第二阶矩可以用于计算概率分布的累积生成函数（CGF），以衡量机制的隐私性或其他特性。具体来说，第二阶矩涉及随机变量的概率和组合性质，通过这些性质可以推导出复杂系统的表现。

评估标准

基于潜在表示的距离 DeepJudage

J. Chen et al., “Copy, right? A testing framework for copyright protection of deep learning models,” in Proc. IEEE Symp. Secur. Privacy, 2022, pp. 824–841.
ZEST
H. Jia, H. Chen, J. Guan, A. S. Shamsabadi, and N. Papernot, “A Zest of LIME: Towards architecture-independent model distances,” in Proc. Int. Conf. Learn. Representations, 2021.

基于决策边界相似性 ModelDiff

Y. Li, Z. Zhang, B. Liu, Z. Yang, and Y. Liu, “ModelDiff: Testing-based DNN similarity comparison for model reuse detection,” in Proc. 30th ACM SIGSOFT Int. Symp. Softw. Testing Anal., 2021, pp. 139–151.
IPGuard
X. Cao, J. Jia, and N. Z. Gong, “IPGuard: Protecting intellectual property of deep neural networks via fingerprinting the classification boundary,” in Proc. ACM Asia Conf. Comput. Commun. Secur., 2021, pp. 14–25.

top-p、top-k、temperature

top-k Sampling

top_k 参数用于限制模型在每一步生成中只考虑概率最高的 k 个词。这意味着在每一步生成时，模型只会从前 k 个最有可能的词中进行选择，而忽略其他词。

  1. 较小的 k 值 会使输出更加确定。
  2. 较大的 k 值 会增加输出的多样性。
    例如，top_k=50 表示模型只会从前 50 个最有可能的词中选择下一个词。

top-p (Nucleus) Sampling

top_p 参数（也称为 nucleus sampling）用于动态选择一组候选词，使这些词的累计概率达到 p。这种方法比固定的 top-k 更灵活，因为它根据上下文动态调整选择的词汇数量。

  1. 较小的 p 值（如 0.9） 会使输出更加确定，倾向于选择最有可能的词。
  2. 较大的 p 值（接近 1.0） 会使输出更加多样化。
    在实现中，首先对词汇进行排序，然后选择最少的词汇，使其累计概率达到 p。

temperature

temperature 参数用于控制生成文本的随机性。具体来说，它会影响模型对词汇的选择概率。

  1. 较低的 temperature 值（接近 0） 会使模型更加确定，生成的文本更加保守和重复。
  2. 较高的 temperature 值（>1） 会使模型的输出更加随机和多样化。