RedShift: Transparent SNARKs from List Polynomial Commitments学习笔记

1. 引言

纽约大学Kattis和Matter Labs团队2019年论文《RedShift: Transparent SNARKs from List Polynomial Commitments》，提出了：

• 名为“List Polynomial Commitment（LPC）”的新的IOP原语，可将现有的需要trusted setup的SNARK方案转换为Transparent SNARK方案。
• 100万（$2^{20}$）gates，80-bit security level情况下，生成证明时间约为1分钟（还是半分钟），proof size约为515KB。

开源代码见：

• https://github.com/matter-labs/bellman/tree/dev/src/plonk/better_better_cs/redshift（Rust）

matter-labs有尝试做Recursive Redshift，不过目前好像未完成：

• https://github.com/matter-labs/bellman/pull/20

实际上，本文实现的RedShift证明系统为：（compile PLONK IOP with LPC) + FRI多项式承诺。

上图源自Vitalik 2019年博客Understanding PLONK。

本文，将SNARKs（Succinct Non-interactive ARguments of Knowledge）方案分为：

• 1）pre-processing SNARKs：
  所谓pre-processing，是指需要trusted setup来生成proving/verification key-pair (pk,vk)（又名SRS（Structured Reference String））。
  如Groth16，采用Kate commitment方案，优点是proof size很小，缺点是需要trusted setup。详细可参看博客 Groth16 学习笔记。
• 2）universal SNARKs：但是proof size会比pre-processing SNARKs大。
  所谓universal，是指无需trusted setup。
  其中，$T$为circuit size，$d$为circuit depth，$G$为circuit width。
  • Goldwasser等人2008年论文 Delegating computation: interactive proofs for muggles：核心为采用sum-check protocol。proof size为$O(d\log T)$。
  • Wahby等人2018年论文Hyrax: Doubly-efficient zkSNARKs without trusted setup：核心为采用sum-check protocol。基于discrete log assumption，实现了dot-product协议。proof size为$O(d\log G)$。
  • Eli Ben-Sasson等人2019年论文STARK Scalable Zero Knowledge with no Trusted Setup：对于uniform（layered）circuits，proof size为$O({\log }^{2}T)$。

不过，在本文中，针对某circuit $C$的satisfiability proof system，所实现RedShift证明系统为”fully succinct“ zk-SNARK方案，具有如下属性：【Bulletproofs不具备verifier succinctness，其验证时间与circuit size（即$|C|$）呈线性关系。】

• Succinctness：Verifier time为poly-logarithmic in $|C|$。
• Prover Efficiency：Proving time为quasi-linear in $|C|$。
• Proof Succinctness：Proof size为poly-logarithmic in $|C|$。
• Transparent：无需可信设置。
• Plausibly Quantum Resistant：所基于的安全假设是抗量子的。

1.1 多项式承诺方案

所谓多项式承诺方案（PCS，Polynomial Commitment Schemes），是指可高效验证$f$在其域内任意点的evaluation值。
透明高效的PCS对应transparent SNARK。
现有的多项式承诺方案：【其中$\mu$为多项式中的变量个数，$d$为多项式degree。】

• Kate承诺：2010年，为首个PCS，需要trusted setup。
• Hyrax: Doubly-efficient zkSNARKs without trusted setup：2018年，为首个针对多变量多项式的透明PCS。commitment size和verification complexity均为$O(\sqrt{d})$。
• Supersonic Transparent SNARKs from DARK Compilers：2020年，基于unknown order group，commitment size和verification complexity为$O(\mu \log d)$。

Eli Ben-Sasson等人2019年论文《DEEP-FRI: Sampling outside the box improves soundness》采用了类似STARK证明系统。在DEEP-FRI协议中，Verifier已知：

• 所有的setup polynomials
• 所有的constraints
• 所有的checked relations

DEEP-FRI的Verifier会直接进行验证。
本文：

• 在DEEP-FRI的基础上进行改进，使得可表示更复杂的STARK电路。
• 扩展了 2019年论文Transparent Polynomial Commitment Scheme with Polylogarithmic Communication Complexity中的相关算法，只是proof size要更大一些。

1.2 本文贡献

本文的主要贡献为：

• 1）List Polynomial Commitments（LPC）：
  Eli Ben-Sasson等人2018年论文《Fast Reed-Solomon interactive oracle proofs of proximity》和 2019年论文 《DEEP-FRI: Sampling outside the box improves soundness》 中介绍了Fast Reed Solomon IOP of Proximity（FRI IOPP）——为高效proximity testing，可检查某指定函数是否close to any low degree polynomial。该proximity tester可转换为透明PCS，其commitment size为$O({\log }^{2}d)$，其中$d$为多项式degree。但是，该PCS的soundness error相对较大，需迭代多次以达到指定的security level。从而导致大的proof size以及大的计算负担。其具有large soundness error的主要原因在于low sensitivity of FRI：when the Hamming distance between two different polynomials is smaller than some predefined constant, it is impossible for FRI to efficiently distinguish them。
  而在本文中，扩大了DEEP-FRI中的PCS方案：可对a list of proximate polynomials进行承诺——引入了LPC（List Polynomial Commitment）。
• 2）使用LPC来编译IOP：借助LPC可将任意polynomial IOP编译为preprocessing zk-SNARK。
• 3）RedShift=（compile PLONK IOP with LPC) + FRI多项式承诺：借助LPC对Plonk进行实例化，去除了其中的trusted setup，所构建的新的证明系统称为RedShift。
  本文为RedShift证明系统提供了正确性和安全性论证，并做了原型实现和benchmark对比。

100万（$2^{20}$）gates，80-bit security level情况下，生成证明时间约为半分钟，proof size约为515KB。

1.3 Transparent zk-SNARKs

现有的Transparent zk-SNARKs方案主要有：

• Auorora（2018年）和Fractal（2019年），均是为R1CS arithmetization设计的IOP，二者提供的编译框架与本文的等价。Auorora（2018年）和Fractal（2019年）分别需要"holographic lincheck argument"/"IOP of Proximity"来构建IOP for R1CS，而本文借助PLONK IOP可避免该情况。
• Virgo（2020年）以及Libra（2019年，非transparent）采用类似的方案，但采用的为”基于interactive proofs（IPs）的Polynomial IOP“（详细见Goldwasser等人1998年论文《The knowledge complexity of interactive proof systems》）。【详细可参看博客SNARK Design。】
• Eli Ben-Sasson等人2018年论文《Fast Reed-Solomon interactive oracle proofs of proximity》和 2019年论文 《DEEP-FRI: Sampling outside the box improves soundness》 中，实现了FRI多项式承诺方案，并设计了ALI-IOP for compilation。本文为在此基础上改进。
• Halo infinite（2020年）定义了具有加法（additive）同态属性的严格版本的PCS，并与Bulletproof（2018年）做了快速递归证明benchmark。然而，这种additive PCS并不适于FRI，若该要求可适当放松，batch效率将可能更高。在Halo infinite（2020年）第4章的batch evaluation problem，等价为，多变量（multivariate）commitment，而LCS可解决该问题。通过放松PCS的binding属性，LCS可替代Kate commitment 为 transparent multivariate commitment，从而可更generally witness polynomials。
• Plonky2（2022年）借鉴了以上思想，关注 how two modular modifications to the proof system affect performance by using a smaller field for faster modular operations and implementing a leaner PLONK-derived IOP called turboPLONK。【turboPLONK为派生自PLONK-IOP的IOP。】
  在Plonky2中，针对smaller filed会引起soundness loss的问题，对IOP应用tight parallel repetition theorem可提升soundness，同时，Plonky2中选择了合适的extension field来运行FRI。从而使得Plonky2具有高效的recursive proving time，为大规模的transparent recursive proof computation提供解决方案。

2. 总览

Kate多项式承诺方案中基于的安全假设为：$t$-Strong Diffie Hellman假设，使得任何使用Kate PCS的证明系统均需要trusted setup。
PLONK需要trusted setup的原因仅在于其采用了Kate PCS。

STARK（2019）和 Aurora（2018）中的关键组件为FRI协议。
FRI专注于解决如下proximity problem：

• Verifier 可oracle access to an evaluation of some function $f$ on a fixed domain $D\subset \mathbb{F}$。
• Prover使Verifier信服，该函数$f$ is close to a polynomial of (predefined) degree $d$。

若Verifier query $f$获得所有的$D$ evaluations值，并插值计算出多项式，然后验证该多项式的degree不超过$d$，则整个过程的complexity为$O(d)$。FRI仅需要a poly-logarithmic number of queries in $d$，相应的FRI PCS直观流程为：【有2个FRI实例】

• 1）Prover对$f$ commit，提供an oracle to all evaluations of $f$ on some predefined domain $D$。
• 2）Prover和Verifier参与FRI for $f$ with respect to some degree $d$。若Prover通过验证，则Verifier信服大概率$f$ is close to a polynomial of degree less than $d$。
• 3）Verifier想要获得$f$在$i\notin D$点的值。
  • Prover发送相应的opening $z=f(i)$，然后Prover和Verifier双方开启另一个FRI实例——对应的为某quotient function $q(X)=(f(X)-z)/(X-i)$的degree小于$d-1$。
  • 注意，此时Verifier具有oracle access to $q$，因其具有oracle access to $f$，且其还知道$i$和$z$。
  • 若Prover通过了本FRI实例，则$q(X)$确实对应为某degree小于$d-1$的多项式函数。
• 4）根据Bezout理论：$h(t)=y$当且仅当$h(X)-y$可整除$X-t$ in the ring $\mathbb{F}[X]$。因此，这意味着$f(i)=z$成立。

不过，事实上，以上简化流程仍然不够，因存在以下问题：

• 1）问题1：FRI具有sensitivity bound：若precise polynomials和functions 足够接近，在某预定义metric（此时为relative Hamming distance）中，则FRI无法区分。
• 2）问题2：从实现一致性角度，希望以上2个FRI实例基于相同的domain。但是，FRI与degree $d$以及 domain size $|D|$是相互关联的，有rate $\rho =d/|D|$。FRI结构要求rate $\rho$是“2-adic”的——即形如$2^{-R}$，其中$R\in \mathbb{N}$。但是，在不对协议做修改的情况下，相邻的degree $d$和$d-1$无法同时满足该要求。

问题1 意味着需可正确处理函数只是非常接近某多项式的情况。现有的承诺方案无法满足该要求。
取$f$的$\delta$-ball around多项式集合 { f 1 ′ , f 2 ′ , ⋯   , f n ′ } \{f_1',f_2',\cdots,f_n'\} {f1′​,f2′​,⋯,fn′​}，可称该集合为$\delta$-neighborhood of $f$或$\delta$-list of $f$，标记为$L_{\delta }=L_{\delta }(f)$。其中$\delta$的取值取决于FRI sensitivity。

• 若$\delta$足够小，则$L_{\delta }$内仅包含一个多项式，可称$\delta$ lies in the unique-decoding radius。但是这种情况下，相同的soundness对应更大的proof size。
• 增大$\delta$可降低proof size，对应$L_{\delta }$的size要大于1。

为解决该问题，考虑relaxed版本的承诺方案——即，不open to 指定的多项式$f$，改为，open to a polynomial in the $\delta$-list $L_{\delta }$。

• 当向Prover请求在$i$点的evaluation值时，Prover返回的为$f^{\prime }(i)$，其中$f^{\prime }\in L_{\delta }$。在后续章节将展示，这种方案足以对holographic IOPs进行compilation。

在PLONK执行过程中，Prover和Verifier需evaluate a set of ‘constraint’（or setup）polynomials $c(X)$ encoding the constraint system itself。为实现succinctness，Verifier不会自己计算在$i$点的值$c(i)$。PLONK依赖Kate承诺：

• 以$c$的commitment值和$i$值为输入，Prover和Verifier运行Kate协议。借助Kate承诺的binding属性，Verifier可信服Prover所发送的evaluation值$c(i)$确实是指定多项式$c(X)$在$i$点的值。

对其relaxation为：

• 对整个neighborhood $L_{\delta }(c)$ of $c(X)$进行commit，而不是仅对$c(X)$自身进行commit，这会牺牲uniqueness。可对LPC稍作修改实现polynomial evaluation scheme。

本文借助list polynomial commitments和polynomial evaluation schemes，可修改PLONK来实现full transparency，修改后的证明系统称为RedShift，并在IOP model下证明其正确性。而这并未修改PLONK的完备性。

基于FRI的协议不具备Kate承诺的hiding属性，这意味着需要额外的策略来实现zero-knowledge。
PLONK的安全模型为Algebraic Group Model（AGM），RedShift基于FRI——安全模型为IOP model，从而会影响the soundness proof以及the proof of knowledge approaches。

3. 定义

3.1 标记规则

• ${\mathbb{F}}_q$表示模为$q$的素数域。
• $D\subset \mathbb{F}$对应为Reed Solomon codes的evaluation domain。
• $f{|}_D$表示restriction of function $f$ to domain $D$。
• 对于function pair $f,g$，其对某domain $D$的relative Hamming distance表示为：
  Δ ( f , g ) = ∣ { x ∈ D : f ( x ) ≠ g ( x ) } ∣ ∣ D ∣ \Delta(f,g)=\frac{|\{x\in D: f(x)\neq g(x)\}|}{|D|} Δ(f,g)=∣D∣∣{x∈D:f(x)=g(x)}∣​

3.2 Reed-Solomon Codes序言

相关定义摘自 Huffman等人2003年论文《Fundamentals of error-correcting codes》：

JOHSON BOUND定理为：

与 Eli Ben-Sasson等人2019年论文《DEEP-FRI: Sampling outside the box improves soundness》 类似，对JOHSON BOUND定理进行改进，获得（强）猜想：

从而可认为，distance parameter $\delta$提供了unique decodability。最后，提供the unique decodability of RS codes的standard results：

Reed-Solomon code $V=RS[\mathbb{F},D,\rho ]$的解码问题，对应为，找到某codeword $u\in V$， 其与某指定word $v\in {\mathbb{F}}^D$的distance为$\delta$（对应Hamming distance）。现有名为Guruswami-Sudan算法（为标准的polynomial-time解决方案）可解决该问题，其输出包含了$v$的所有$\delta$-ball codewords。【详细见Guruswami和Sudan1999年论文《Improved decoding of Reed-Solomon and algebraic-geometry codes》】

3.3 Interactive Oracle Proofs 和 IOPs of Proximity

对某relation $\mathcal{R}\subseteq S\times T$，有$(x,w)\in \mathcal{R}$，其中$x$为instance，$w$为witness。

Eli Ben-Sasson等人2016年论文 Interactive oracle proof中，Interactive Oracle Proof（IOP）model为Interactive Proofs和Probabilistically Checkable Proofs的generalization。
以holographic IOP为例，其（preprocessed）序号会通过oracle提供给各参与方。该模式中包含了一个prover/verifier tuple $(P,V)$ of two probabilistic interactive algorithms。交互的round数，表示为$k=r(x)$，可称为系统的round complexity。在single round内，Prover发送消息$a_i$（可能会依赖之前的interaction），Verifier回复$m_i$。Verifier最终输出为accept或reject。可将整个交互表示为$<P(x,w)\leftrightarrow V(x)>$，其中$V$的输入为$x\in S$，$P$的输入为$(x,w)\in S\times T$。proof length为Prover发送的消息总长度，可表示为$l(x)={\sum }_{i=1}^k{a}_i$。该协议的query complexity，标记为$q(x)$——为Verifier读取的entries总数。
【PPT：probabilistic polynomial time 】



Interactive Oracle Proof of Proximity (IOPP) 为$r$-round interactive IOP system，其针对的问题为：

• 已知某field $\mathbb{F}$，degree $d\in \mathbb{N}$，proximity $\delta >0$和domain $D\subset \mathbb{F}$。
• Prover已知某函数$f$
• Verifier可oracle access $f$的evaluation on domain $D$（即an oracle $\hat{f}(x)$ to $f(x){|}_D$）
• Prover使Verifier信服$f{|}_D$为the evaluation of some degree $d$ polynomial on domain $D$。即，$f\in RS[\mathbb{F},D,\rho =d/|D|]$。

本文遵循Eli Ben-Sasson等人2018年论文《Fast Reed-Solomon interactive oracle proofs of proximity》中的定义：

本文后续将以 I O P P ( f 0 , C ) → { 0 , 1 } IOPP(f^0,C)\rightarrow \{0,1\} IOPP(f0,C)→{0,1}来表示an IOPP protocol IOPP with purported code-word $f^0\in C$ and $C$ error-correcting code family。

3.4 Fast Reed-Solomon IOPP

RedShift中采用 Eli Ben-Sasson等人2018年论文《Fast Reed-Solomon interactive oracle proofs of proximity》和 2018年论文《Worst-case to Average Case Reductions for the Distance to a Code》中的FRI：

• 已知某RS code family $RS[\mathbb{F},D,\rho ]$，其中domain $|D|=n=2^k$，rate $\rho =2^{-R}$，$k,R\in \mathbb{N}$。这意味着degree bound $d$为$2^{k-R}$。
• 令$r\in [1,\log d=k-R]$为协议的round number
• 对于每个$\eta \in (0,1]$，令$J_{\eta }:[0,1]\to [0,1]$为Johnson function $J_{\eta }(x)=1-\sqrt{1-x(1-\eta )}$

针对以上参数选择，对于某域$\mathbb{F}$，FRI具有如下属性：

4. LPC（List Polynomial Commitment）

常规的承诺方案$\sum =(Gen,Com,Open)$具有binding属性，其定义为：

LPC的主要不同之处在于：

• LPC展示的是$g(z)=y$，其中$g$为$f$的$\delta$-neighborhood。$L_{\delta }(f)$为$\delta$-list of $f$。

4.1 LPC Specification

LPC定义为：

4.2 LPC Instantiation

本文设置public parameters为$pp=(\mathbb{F},D)$，将$Com$函数看成是oracle $f{|}_D$，使得双方可simulate FRI over the coset domain $D$ by calculating the values of $q{|}_D$。因为双方可明确构建interpolation polynomials且可access to $f{|}_D$。因此，Verifier可使用oracle calls to $f{|}_D$来simulate $q{|}_D$，从而可检查$c=Com(q)$。因此，根据FRI的安全属性可知获得的LPC scheme满足如上定义。具体展示在以下定理中：

4.3 源自LPC的Polynomial Commitments

以上LPC定义足以处理证明系统中的“witness” polynomials $w(X)$，因为仅要求存在这样的多项式，而不要求该多项式的唯一性。但是，当处理编码了约束系统自身的“setup” polynomials $c(X)$时，需做额外的考量，此时：

• 需确保Prover所提供的openings确实是多项式$c(X)$自身的evaluations值，而不是某多项式$g\in L_{\delta }(c)$。
• Verifier可自己evaluate setup polynomial values，但是这不满足succinctness要求，因Verifier自己evaluate需要$O(d)$ computations。

不过，本文基于的事实为：

• 给定某setup polynomial $c(X)$，Prover和Verifier均可计算其list $L_{\delta }(c)$。

• 因此，Prover和Verifier均可找到某distinguishing point $i$，使得$c(i)\ne g(i),\forall g\in L_{\delta }(c)$。寻找某distinguishing point $i$的过程为：

  • fully transparent
  • 每个circuit只需寻找一次，找到符合要求的distinguishing point $i$即可。

  因此，寻找某distinguishing point $i$的过程仅在协议开始时执行一次，可作为offline phase。
  offline phase的主要作用就是：找到符合要求的distinguishing point $i$。这样就可通过LPC来强化所有的evaluations源自特定的多项式$c(X)$。这与PCS提供的通用proof of knowledge等价。这样的预处理与Marlin中的indexer作用类似。

以上定理依赖一个简单的观察：

• 若已知某distinguishing point-evaluation pair $(x,f(x))$，使得 f ( x ) ≠ g ( x ) , ∀ g ∈ L δ ∖ { f } f(x)\neq g(x),\forall g\in L_{\delta}\setminus\{f\} f(x)=g(x),∀g∈Lδ​∖{f}，则将$(x,f(x))$添加到LPC的openings中农，即意味着仅$f$为a valid witness。
• 寻找distinguishing point-evaluation pair $(x,f(x))$仅需在LPC scheme setup中执行一次，而需要binding security的每个LPC示例可从proving key中获得$(x,f(x))$这样的点。

4.3.1 polynomial evaluation scheme $PES$ Instantiation

基于不同的list distinguisher choices，本文提供了2种polynomial evaluation scheme $PES$的实例化方案，并对比了不同list ›distinguisher的权衡取舍：

• 1）List Decodability distinguisher：无soundness error，但time complexity高。
• 2）Random Sampling distinguisher：选择$\mu$个随机点，借助Schwartz-Zippel lemma，以相对快的速度，具有可接受的soundness error：
  

借助Random Sampling distinguisher + 之前章节构建的LPC scheme，可获得如下定理：

5. RedShift

RedShift为：（compile PLONK IOP with LPC) + FRI多项式承诺。
RedShift的约束系统沿用了PLONK中的定义，详细参看博客：PLONK: permutations over lagrange-bases for oecumenical noninteractive arguments of knowledge 学习笔记：

将fan-in two arithmetic circuits of unlimited fan-out with $n$ gates and $m$ wires 以constraint system的形式来表达。有$n\le m\le 2n$。

constraint system $\mathcal{L}=(\mathcal{V},\mathcal{Q})$定义如下：

• $\mathcal{V}$ 的形式为：$\mathcal{V}=(\vec{a},\vec{b},\vec{c})$，其中$\vec{a},\vec{b},\vec{c}\in [m{]}^n$，可将$\vec{a},\vec{b},\vec{c}$ 看成是 $\mathcal{L}$的左侧、右侧和输出序列。【${\vec{a}}_i,{\vec{b}}_i,{\vec{c}}_i$分别表示第$i$个gate的左、右、输出wire序号，$i$的取值范围为$0\sim n$，有${\vec{a}}_i\in [0,m-1],{\vec{b}}_i\in [0,m-1],,{\vec{c}}_i\in [0,m-1]$。】
• $\mathcal{Q}$ 的形式为：$\mathcal{Q}=({\vec{q}}_L,{\vec{q}}_R,{\vec{q}}_O,{\vec{q}}_M,{\vec{q}}_C)\in ({\mathbb{F}}^n{)}^5$，其中${\vec{q}}_L,{\vec{q}}_R,{\vec{q}}_O,{\vec{q}}_M,{\vec{q}}_C\in {\mathbb{F}}^n$ 可看成是”selector vectors“。【$(({\vec{q}}_L{)}_i,({\vec{q}}_R{)}_i,({\vec{q}}_O{)}_i,({\vec{q}}_M{)}_i,({\vec{q}}_C{)}_i)$表示第$i$个gate的selector赋值。】

称$\vec{x}\in {\mathbb{F}}^m$ satisfies $\mathcal{L}$ 当且仅当 对于每一个$i\in [n]$ 均有：【$\vec{x}$表示对所有wire的赋值，${\vec{x}}_j$表示对第$j$个wire的序号，$j$的取值范围为$0\sim m$（即${\vec{a}}_i,{\vec{b}}_i,{\vec{c}}_i$）。】
$({\vec{q}}_L{)}_i\cdot {\vec{x}}_{{\vec{a}}_i}+({\vec{q}}_R{)}_i\cdot {\vec{x}}_{{\vec{b}}_i}+({\vec{q}}_O{)}_i\cdot {\vec{x}}_{{\vec{c}}_i}+({\vec{q}}_M{)}_i\cdot ({\vec{x}}_{{\vec{a}}_i}\cdot {\vec{x}}_{{\vec{b}}_i})+({\vec{q}}_C{)}_i=0$

定义正整数$l\le m$，子集$\mathcal{I}\subset [m]$ of “public inputs”。
进一步不失一般性地假设 I = { 1 , ⋯   , l } \mathcal{I}=\{1,\cdots,l\} I={1,⋯,l}。
定义relation ${\mathcal{R}}_{\mathcal{L}}$为：
the set of pairs $(\vec{x},\vec{w})$ with $\vec{x}\in {\mathbb{F}}^l,w\in {\mathbb{F}}^{m-l}$，使得$\mathbf{x}:=(\vec{x},\vec{w})$ satisfies $\mathcal{L}$。【区分public input和witness。】

for $i\in [l]$，当满足如下条件时，可称$\mathcal{L}$ is prepared for $l$ public inputs：【即$l$个public inputs，均为前$l$个gate的左侧输入。】
$a_i=i,({\vec{q}}_L{)}_i=1,({\vec{q}}_M{)}_i=({\vec{q}}_R{)}_i=({\vec{q}}_O{)}_i=0,({\vec{q}}_C{)}_i=0$

从而可认为给定的约束系统为prepared form。

为将多项式方式表达约束系统，还需要额外的要素：

• 令$g\in {\mathbb{F}}^{\ast }$为order为$n+1$的元素，$D=<g>\subseteq {\mathbb{F}}^{\ast }$为由$g$生成的cyclic subgroup。 D ∗ = D / { e } D^*=D/\{e\} D∗=D/{e}，其中$e=g^0$为identity。
• 对于$i\in [n+1]$，$L_i(X)$为${\mathbb{F}}_{\le n}[X]$的element，有$L_i(g^i)=1$， L i ( a ) = 0 , ∀ a ∈ ( D / { g i } ) L_i(a)=0,\forall a\in (D/\{g^i\}) Li​(a)=0,∀a∈(D/{gi})。
  可称 { L i ( X ) } i = 1 n + 1 \{L_i(X)\}_{i=1}^{n+1} {Li​(X)}i=1n+1​为$D$的Lagrange basis。
• 令$Z(X)={\prod }_{a\in D^{\ast }}(X-a)\in {\mathbb{F}}_{\le n}[X]$为$D^{\ast }$的domain polynomial，即zero only on $D^{\ast }$。

PLONK论文中的 checking “extended” permutations的目的是：
check a permutation “across” the values of several polynomials。

假设有多个多项式 $f_1,\cdots ,f_k\in {\mathbb{F}}_{<n}[X]$ 和 permutation $\sigma :[kn]\to [kn]$。

对于$(g_1,\cdots ,g_k)\in ({\mathbb{F}}_{<n}[X]{)}^k$，当以下条件成立时，可称 $(g_1,\cdots ,g_k)=\sigma (f_1,\cdots ,f_k)$：
定义序列 $(f_{(1)},\cdots ,f_{(kn)}),(g_{(1)},\cdots ,g_{(kn)})\in {\mathbb{F}}^{kn}$ 为：
$f_{((j-1)\cdot n+i)}:=f_j({\mathbf{g}}^i),g_{((j-1)\cdot n+i)}:=g_j({\mathbf{g}}^i)$
for each $j\in [k],i\in [n]$。则有$g_l=f_{\sigma (l)}$ for each $l\in [kn]$。

PLONK论文中的 checking “extended copy constraints” using a permutation，对应实际的primitive为：
令 T = { T 1 , ⋯   , T s } \mathcal{T}=\{T_1,\cdots,T_s\} T={T1​,⋯,Ts​} 为 a partition of $[kn]$ into disjoint blocks。

对于特定的$f_1,\cdots ,f_k\in {\mathbb{F}}_{<n}[X]$，定义$(f_{(1)},\cdots ,f_{(kn)})\in {\mathbb{F}}^{kn}$，若有$f_{(l)}=f_{(l^{\prime })}$ whenever $l,l^{\prime }$ belong to the same block of $\mathcal{T}$，则可称 $f_1,\cdots ,f_k$ copy-satisfy $\mathcal{T}$。

PLONK论文 5.2节的protocol for extended permutations可直接拿来check whether $f_1,\cdots ,f_k$ satisfy $\mathcal{T}$，具体为：
定义a permutation $\sigma (\mathcal{T})$ on $[kn]$，使得对于$\mathcal{T}$中的每一个block $T_i$，$\sigma (\mathcal{T})$ 包含了a cycle going over all elements of $T_i$。
则 当且仅当$(f_1,\cdots ,f_k)=\sigma (f_1,\cdots ,f_k)$，有 $(f_1,\cdots ,f_k)$ copy-satisfy $\mathcal{T}$。

具体定义为：

其中：

• $\mathbf{PI}(X)$：为public input多项式
• ${\mathbf{f}}_{\mathbf{L}}(X),{\mathbf{f}}_{\mathbf{R}}(X),{\mathbf{f}}_{\mathbf{O}}(X)$：分别为left、right、output Wire Polynomials，对应为Prover的private data。

注意：

• 以上PLONK约束系统的Definition 13和Definition 16是等价的。
• ${\mathbf{f}}_{\mathbf{L}}(X),{\mathbf{f}}_{\mathbf{R}}(X),{\mathbf{f}}_{\mathbf{O}}(X)$的degree为$n-1$，其中$n$为$\mathcal{L}$ size。不过为实现zero-knowledge，RedShift中将其degree放松到了某$k>n$。

5.1 RedShift协议实例化

• 令${\mathcal{L}}^{\prime }=({\mathbf{q}}_{\mathbf{L}},{\mathbf{q}}_{\mathbf{R}},{\mathbf{q}}_{\mathbf{O}},{\mathbf{q}}_{\mathbf{M}},{\mathbf{q}}_{\mathbf{C}},\sigma ,n)$为待证明的约束系统。
• 令$k_1,k_2,k_3\in {\mathbb{F}}^{\ast }$为${\mathbb{F}}^{\ast }\setminus D$中的不同cosets，其中$k_1=e=g^0$为identity。
• 令$\tau$为$P_1=[3n]$与$P_2=D^{\ast }\cup k_2{D}^{\ast }\cup k_3{D}^{\ast }$之间的双射，满足：
  $\tau [n\cdot (j-1)+i]=k_j{g}^i,i\in [n],j\in [3]$
• 令$\sigma$为permutation on $P_1$，${\sigma }^{\prime }=\tau \circ \sigma \circ {\tau }^{-1}$为permutation on $P_2$。
• 定义 { S i d i ( X ) } i = 1 3 , { S σ j ( X ) } j = 1 3 \{S_{id_i}(X)\}_{i=1}^3, \{S_{\sigma_j}(X)\}_{j=1}^3 {Sidi​​(X)}i=13​,{Sσj​​(X)}j=13​为degree不超过$n$的Permutation Polynomials：
  • $S_{i{d}_j}(X)=k_{j}X,j\in [3]$：【本质为：分别对所有gate的左侧输入wire、右侧输入wire和output wire 进行编号。如每个gate的左侧输入wire依次编号为$(k_1,2\cdot k_1,\cdots ,n\cdot k_1)$，每个gate的右侧输入wire依次编号为$(k_2,2\cdot k_2,\cdots ,n\cdot k_2)$，每个gate的output wire依次编号为$(k_3,2\cdot k_3,\cdots ,n\cdot k_3)$。】
  • $S_{{\sigma }_j}(g^i)={\sigma }^{\prime }(k_j{g}^i),i\in [n],j\in [3]$：$i$的取值为0~n-1，对应为gate，$j$的取值对应为左、右、output wire。【本质为：表示的是gate之间的输入、输出连接关系，如某gate的output wire为另一gate的left input wire等。】

通过以上Permutation Polynomials可定义待证明问题的Setup Polynomials，Setup Polynomials由以下多项式组成：【Setup Polynomials应具有unique属性，确保待证明问题不可延展。】

• 1）Selector Polynomials： ${\mathbf{q}}_{\mathbf{L}},{\mathbf{q}}_{\mathbf{R}},{\mathbf{q}}_{\mathbf{O}},{\mathbf{q}}_{\mathbf{M}},{\mathbf{q}}_{\mathbf{C}}$
• 2）Permutation Polynomials： { S i d i ( X ) } i = 1 3 , { S σ j ( X ) } j = 1 3 \{S_{id_i}(X)\}_{i=1}^3, \{S_{\sigma_j}(X)\}_{j=1}^3 {Sidi​​(X)}i=13​,{Sσj​​(X)}j=13​
• 3）Lagrange-basis Polynomials： { L i } i ∈ [ n + 1 ] \{L_i\}_{i\in [n+1]} {Li​}i∈[n+1]​

而Witness Polynomials组成为：【Witness Polynomials不要求unique属性。】

• 1）Wire Polynomials：${\mathbf{f}}_{\mathbf{L}},{\mathbf{f}}_{\mathbf{R}},{\mathbf{f}}_{\mathbf{O}}$

Public Input Polynomials表示为：

• $\mathbf{PI}(X)$

RedShift协议，在交互层与DEEP-ALI协议类似，只是采用的为PLONK约束系统。
RedShift中：

• 将distinguisher oracle ${\mathcal{O}}^{\mathcal{D}}$ queries 实例化为：indexer algorithm $\mathcal{I}$的evaluations：其接收某low-degree polynomial input $f$，输出$\mu$个不同的points及其evaluations { x i , f ( x i ) } i = 1 μ \{x_i,f(x_i)\}_{i=1}^{\mu} {xi​,f(xi​)}i=1μ​。
• 为实现非交互式，其random sampling distinguisher采用$n_c\cdot \mu \cdot n$次queries（其中$n_c$为Constraint Polynomials数量），并将这些point作为PLONK证明系统IOP 的输入（详细见PLONK论文Section 7）。

为便于模块化，使用$(ϵ,k)$-LPC来模拟 $(ϵ,k,\eta )$-polynomial evaluation scheme $PES=(\mathcal{D},LPC)$——可access to $\mu$-dimensional $\eta$-distinguisher $\mathcal{D}$。
其思想为，将对某low-degree polynomial的承诺实例，替换为，使用LPC和PES，以满足证明系统的knowledge soundness要求。实际实现采用的是FRI协议，为改进proof size，选择的FRI maximal levels为$\delta$。RedShift中才分了2类多项式，分别具有不同的要求：

• 1）Setup Polynomials：需满足unique属性，Prover需知道其所commit的具体多项式。
• 2）Witness Polynomials：无unique要求，仅需要证明存在some low-degree polynomials。

RedShift中，Verifier可访问的为：

• 1）Public Input Polynomial $\mathbf{PI}(X)$；
• 2） { S i d i ( X ) } i = 1 3 , { S σ j ( X ) } j = 1 3 , { L i } i ∈ [ n + 1 ] , q L , q R , q O , q M , q C ∈ pp \{S_{id_i}(X)\}_{i=1}^3, \{S_{\sigma_j}(X)\}_{j=1}^3,\{L_i\}_{i\in [n+1]},\mathbf{q_L},\mathbf{q_R},\mathbf{q_O},\mathbf{q_M},\mathbf{q_C}\in\text{pp} {Sidi​​(X)}i=13​,{Sσj​​(X)}j=13​,{Li​}i∈[n+1]​,qL​,qR​,qO​,qM​,qC​∈pp的commitment oracle。

其中，以上：

• 第12步可知，由于：
  • Constraint Polynomials：由Selector Polynomials ${\mathbf{q}}_{\mathbf{L}},{\mathbf{q}}_{\mathbf{R}},{\mathbf{q}}_{\mathbf{O}},{\mathbf{q}}_{\mathbf{M}},{\mathbf{q}}_{\mathbf{C}}$ 和 Permutation Polynomials { S i d i ( X ) } i = 1 3 , { S σ j ( X ) } j = 1 3 \{S_{id_i}(X)\}_{i=1}^3, \{S_{\sigma_j}(X)\}_{j=1}^3 {Sidi​​(X)}i=13​,{Sσj​​(X)}j=13​组成，对Verifier已知，调用的是PES进行验证。
  • Witeness Polynomials ${\mathbf{f}}_{\mathbf{L}},{\mathbf{f}}_{\mathbf{R}},{\mathbf{f}}_{\mathbf{O}}$ 和 中间多项式Grand Product Polynomials $\mathbf{P},\mathbf{Q}$ 以及 Quotient多项式$\mathbf{T}$ 为隐私数据，对Verifier是未知的，调用的是LPC进行验证。
• 整个RedShift的完备性在于：对于honest Prover， { F i } i = 1 6 \{F_i\}_{i=1}^6 {Fi​}i=16​为identically zero on domain $D^{\ast }$，即意味着所有的$F_i(X)$ are divisible by $Z(X)$ in the ring $\mathbb{F}[X]$，因此其linear combination $F(X)={\sum }_{i=1}^6{a}_i{F}_i(X)$也可整除$Z(X)$。
  第8步中：$F_1,F_2,F_3,F_4,F_5$用于检查Witness Polynomials的copy-satisfiability。
  从而RedShift的完备性 与 PLONK的完备性 等价。
• $S_{i{d}_j}$：仅需要将$D$ 映射为 不相交集合 $P_1,P_2,P_3$。
• $S_{{\sigma }_j}$：以“permuted”方式 映射为 相同的集合 $P=P_1\cup P_2\cup P_3$。为permutation $\sigma$构建了map $\tau$来将domain $[n]$ 映射为 $P$。
  最简单的方式是，定义$S_{i{d}_k}$将$[n]$ 分别映射为 $[1,\cdots ,n],[n+1,\cdots ,2n],[2n+1,\cdots ,3n]$。此时，不需要借助$\tau$来做domain translation（$P=[n]$）。这样做的问题在于，所有的$S_{i{d}_j}$多项式的degree将为$n$。
  RedShift中构建的$S_{i{d}_j}$最小degree可为1，使得Verifier在验证时可节约evaluation开销。该优化源自PLONK论文。
• 第10步中的random evaluation point $y$ 取自domain $D$之外，这样可实现Perfect-zero knowledge，而不是statistical-zero knowledge。
• $N$表示随机取的challenge point数量，RedShift中设置$N=1$。
• 受degree上限限制，可能需要将 第9步 中的$T$切分为不同的多项式 { T 0 , T 1 , T 2 } \{T_0,T_1,T_2\} {T0​,T1​,T2​}，然后分别进行commit。
• RedShift的knowledge soundness为：
  
  使用“CS-proof”技术来将oracles编译为constraint functions，从而将以上IOP实例化为Non-Interactive Random Oracle Proof（NIROP）。
  即假设存在某哈希函数$\mathcal{H}:\mathbb{F}\times \mathbb{F}\to \mathbb{F}$，构建的$Com(f)$为root $c$ of a Merkle tree where the leaves form the evaluations of $f$ on $D$。注意，这样会为每个query引入$\log |D|$开销。

6. RedShift系统实例化

7. RedShift Results

以Proth prime为例，$q=r\cdot 2^{192}+1$，$r=576460752303423505$，取$\rho =1/16$，构建Merkle tree时采用Blake2s哈希函数：

在Apple MacBook Pro 18.2 with an M1 Max 10-core processor and 64 GB RAM上运行，记录的 proof generation times, verification times and proof sizes 与不同的 predicate sizes 之间的关系为：

8. 优化及变种

8.1 batch FRI

8.2 Binary Fields

PLONK仅适于prime fields，因其内嵌的为pairing-friendly椭圆曲线。而Eli Ben-Sasson等人2018年论文《Fast Reed-Solomon interactive oracle proofs of proximity》中提出了基于binary field的FRI协议。
RedShift适于prime fields，也适于binary fields。

8.3 递归

可将RedShift的verification subroutine表示为电路，该电路内主要包含的与少奶奶为Merkle path验证或inclusion proof验证。剩下的算术运算基于的field与原始circuit中定义的域相同，因此，无需cycles over pairing-friendly elliptic curves。

以BL12-381曲线为例，其subgroup order $|G|$满足$2^{32}|(|G|-1)$，借助递归，使其inner circuit验证开销更cheaper：

8.4 不同的证明系统

Sonic和Marlin中采用的为单变量多项式承诺，可将本文的LPC和PES用于Sonic和Marlin等不同的证明系统中。

附录 C FRI batch open

与Efficient polynomial commitment schemes for multiple points and polynomials学习笔记 思路类似：

附录 D FRI Overview

FRI基础知识可参看博客：

• STARKs and STARK VM: Proofs of Computational Integrity
• STARK入门知识
• STARK Low Degree Testing——FRI

附录 F RedShift proof size优化

为降低proof size，可做如下优化：

• 1）Merge Oracles：将不同类别的多项式合并，可由原来的17个独立的Merkle authentication path，降低为4个，从而可降低proof size，减少验证时间。
  • 1.1）Constraint Polynomials：Selector Polynomials ${\mathbf{q}}_{\mathbf{L}},{\mathbf{q}}_{\mathbf{R}},{\mathbf{q}}_{\mathbf{O}},{\mathbf{q}}_{\mathbf{M}},{\mathbf{q}}_{\mathbf{C}}$ 和 Permutation Polynomials $S_{i{d}_1},S_{{\sigma }_1},S_{{\sigma }_2},S_{{\sigma }_3}$，这些多项式相互独立，且在setup时prepared。
  • 1.2）Witness Polynomials：${\mathbf{f}}_{\mathbf{L}},{\mathbf{f}}_{\mathbf{R}},{\mathbf{f}}_{\mathbf{O}}$
  • 1.3）Grand Product Polynomials：$\mathbf{P},\mathbf{Q}$
  • 1.4）Quotient多项式$\mathbf{T}$中的$T_0,T_1,T_2$多项式：
    $T(X)=X^{2n}{T}_2(X)+X^n{T}_1(X)+T_0$
• 2）Bitreversed Domain Element Enumeration as Merkle Tree Leaves：FRI的另一个重要优化是：当将claimed LDE values放入Merkle tree时，使用“bitreverse” enumeration
  。此时，FRI “folding” step中构成coset所需的values总是adjacent的，从而可放入同一leaf内（结合下面的优化策略），共享a single Merkle path per FRI intermediate oracle query step。在本文PoC实现中未采用该优化措施。
• 3）Concatenating Merkle Tree Leaves：对oracle实例化时，在每棵Merkle tree的leaf中放入更多的values。该优化可为FRI采用更大的“localization parameter”，从而降低intermediate oracles数量。需对“localization parameter”（通常取值为8）进行动态调整，降低该值会使Merkle tree变浅，增大该值会使Merkle path变长。
• 4）其它优化策略：
  • 对从transcript中获得的challenge values进行处理，以降低所需的FRI query次数。

参考资料

[1] SNARK Design
[2] HyperPlonk——实现zkEVM的一种zk-proof system
[3] REDSHIFT：不需要可信设置的PLONK
[4] Research Summary: REDSHIFT: Transparent SNARKs from List Polynominal Commitment IOPs