UTXO Commitment有望彻底解决大区块存储问题

微信图片_20180620173219.jpg

关于BCH,黑粉们讨论最多的就是BCH区块过大造成的节点存储问题,部分比特币的支持者认为,BCH大区块会加重全节点的运行成本,使得人人皆节点变的不再可能,有悖去中心化本意。对此,BCH社区已经罗列出了大量的事实和证据来表明BCH大区块并不会造成存储困难,也不会影响去中心化的设计,而且即使是比特币的节点运行,也早就超过了普通电脑能够接受的范围。所以,大区块撑爆屌丝电脑是一个针对BCH的谎言。

不过,随着区块中交易的增多,账本数据的持续增长,BCH全节点的运行成本越来越高是一个不争的事实。如何解决这个问题,是社区始终在思考的一个方向。近日,UTXO Commitment技术为了这一问题提供了一种解决思路。

UTXO是什么?

UTXO(Unspent Transaction Output)是指未花费的交易输出,在现实世界中是没有比特币的,只有UTXO。比特币的交易由交易输入和交易输出组成,每一笔交易都要花费(spend)一笔输入,产生一笔输出(output),一个地址中出现了输入而这笔输入没有输出或者是完全输出,剩余的部分指的就是“未花费过的交易输出”,也就是UTXO。

简单统计一下 BCE 和BCH 主链截止到某个最近的区块时的 UTXO 数据。BCH 的主链截止高度534637,UTXO集合有39922839个未花费的输出;BCE主链截止高度527687,UTXO集合有51283037个为花费的输出。

 

由此可得,UTXO集合较大,其中的unspent output的量级在4000万到5000万这个量级之间,需要的存储也会超过2GB。同样UTXO集合本身也会随着新区块的产生不断变化,花费旧的output,生成新的unspent output。

另外某些 output 可能是无法花费的 output,这包括:1)第一个字节为 0x6a开头的redeemScript(OP_RETURN);2)超过10k字节的 redeemScript。

如何降低全节点存储成本?

在文章的前面,我提到说BCH全节点的运行成本越来越高是一个不争的事实,举一个简单的例子来说,如果现在要设置一个新节点,需要从BCH网络节点中下载区块链的完整历史数据,这个数据目前大约为160GB,这不仅需要新节点拥有高速稳定的宽带以及较大的硬盘空间,而且其余节点也会因为初始块下载而承受网络压力,再加上区块链是不断延伸的,账本的长度还在不断增加。

即使这个账本数据过于庞大,目前来看我们还是需要下载运行,因为这个账本里面的全部数据都是为了给UTXO集合做担保,保证每笔交易都是合法的,即每笔交易中的输出地址中有足够的UTXO来满足交易条件。那么我们有没有可能不下载全部的历史数据就达到目的呢?

全部历史数据的存在是为了验证新的区块,也就是为验证新的交易(transaction,tx)提供依据。但是现在的Bitcoin客户端在实现验证新tx时,是否真的会直接去整个区块链上进行回溯来验证tx的合法性?

答案是否定的。现在的Bitcoin客户端在验证tx时,利用的是UTXO(Unspent Transaction Output)集合进行检查。所以为什么一定需要全部的历史数据构建UTXO集合?可以认为:完整的账本数据的存在是为了给UTXO提供担保。如果有其他的方式可以为UTXO集合提供担保或者承诺(commitment),也许就不再需要存储整个的账本数据。

UTXO Commitment就是如此,该技术给出的解决思路是用基于椭圆曲线构造的Hash函数(承诺算法)Elliptic Curve Multiset Hash来对UTXO集合进行担保,该算法将集合中的每一个数据都Hash到椭圆曲线中的每一个点,然后利用加法点群的运算来快速变换成杂凑值的变化,从而使得新地址同步的顺序发生改变,节点运行时率先同步新区块然后同步UTXO余额,最后是选择性同步旧数据,简单来说就是对之前的冗余数据在不影响网络安全正确的前提下进行了适当的裁剪。

这样一来,全节点在运行BCH区块链时,可能只需要下载大小约为2GB的UTXO集,而不需要完整的下载160GB的历史账本数据,会大大降低全节点的运行成本,也为普通节点的运行提供了可能。

UTXO Commitment是什么?

UTXO Commitment也叫UTXO证明或者是UTXO承诺,其大致思路利用ECMH 对某个区块高度的UTXO集合做承诺,并将该承诺存储到coinbase 交易的output中,完成这一步之后,后续根据新区块的产生可以对UTXO Commitment进行更新,利用ECMH把花费的output从集合中去掉并添加新产生的output。通过这种方式就找到了构建并持续维持UTXO承诺的方式,也可以从这里摆脱对完整账本的依赖。

Utxo-commitment机制激活之后,网络中的节点只需要为可能发生的区块重组保持最近的几百(几千或者上万个区块)以及UTXO集合,就可以验证tx的合法性,而UTXO集合的合法性可以对比验证区块中的存储的commitment数据。当然,激活utxo-commitment机制时,例如在区块中首次生成utxo承诺时,还是依赖全部的历史数据来保证该UTXO集合的合法性,但是从此之后,就不再依赖完整的区块数据。类似于归纳法证明:起点处的UTXO证明是正确的(全账本数据支撑),每一次更新是对的(ECMH 的抗碰撞特性保证),则整个UTXO证明机制是没有问题的。

在主链上开启UTXO-commitment机制,大概需要以下四步:

1. 在coinbase中引入并维护UTXO承诺(这一步已经完成,在Bitcoin Cash Testnet的1237565高度的区块的coinbase中有了UTXO承诺:5554583011007bc4426b03824ccca5912bb147bd9f6847b670a08f24b79a4b5ed0b36393)。

2. 为UTXO集合的网络传送添加P2P消息支持:utxo/getutxo。

3. 将UTXO承诺作为区块验证规则的一部分。

4. 实现fast-syncing bootstrap方法。

UTXO Commitment的优点是什么?

UTXO承诺的优点,能够减少存储空间和带宽使用。由于仅需要存储UTXO集合和最新的几百个(或者几千或者上万个区块),而不需要存储超过 100GB 的数据,对存储空间的需求会减少(手动修剪也可以达到类似的效果)。

2017年2月的一则新闻中通告 https://news.bitcoin.com/cost-full-bitcoin-node/,Bitcoin节点通常每月使用200GB或者更多的上行带宽和大约20GB的下行带宽。而使用了UTXO承诺之后占用更少的资源可以使更多的节点能够以接近全节点的方式来运作,这能够增强BCH网络的去中心化程度和并且在一定程度上增强SPV钱包的安全性(可以通过存储2GB的UTXO集合来验证交易合法性)。

UTXO Commitment的安全性?

UTXO Commitment的安全取决于ECMH算法的安全性,而ECMH算法可以基于secp256k1椭圆曲线来构造,Core开发者Pieter Wuille等人开发的secp256k1库上基本都添加了ECMH功能。另外,secp256k1已经被别的数字货币进行使用,所以其安全性是经过验证的。

UTXO Commitment的缺点是什么?

UTXO承诺也有缺点,如果没有人愿意当全节点存储所有历史数据如何处理?另外在Telegram上的UTXO-Commitment的工作组[WG]讨论中,有人提出UTXO-Commitment机制可能会影响HD钱包的某些机制,这部分尚未完全弄明白。

引入UTXO包含/不包含证明对于轻钱包的增强也会有帮助,但是进一步的考虑会发现这是徒劳的,因为payment协议也在不断改进。另外UTXO集合同步容易遭受恶意节点干扰,可能会因为仅仅一个output的错误而不断从网络重新获取2GB 的数据。

目前UTXO-Commitment还是存在很多缺陷,但这不会影响UTXO-Commitment的政治正确性,为了实现保证全人类级的交易处理能力和去中心化全节点成本降低,UTXO-Commitment也是必须实现的技术。期待技术团队在未来能够彻底完善UTXO-Commitment,早日应用在BCH上。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 支持向量机非线性回归通用MATLAB程序解析 #### 一、概述 本文将详细介绍一个基于MATLAB的支持向量机(SVM)非线性回归的通用程序。该程序采用支持向量机方法来实现数据的非线性回归,并通过不同的核函数设置来适应不同类型的数据分布。此外,该程序还提供了数据预处理的方法,使得用户能够更加方便地应用此程序解决实际问题。 #### 二、核心功能与原理 ##### 1. 支持向量机(SVM) 支持向量机是一种监督学习模型,主要用于分类和回归分析。对于非线性回归任务,SVM通过引入核技巧(kernel trick)将原始低维空间中的非线性问题转换为高维空间中的线性问题,从而实现有效的非线性建模。 ##### 2. 核函数 核函数的选择直接影响到模型的性能。本程序内置了三种常用的核函数: - **线性核函数**:`K(x, y) = x'y` - **多项式核函数**:`K(x, y) = (x'y + 1)^d` - **径向基函数(RBF)**:`K(x, y) = exp(-γ|x - y|^2)` 其中RBF核函数被广泛应用于非线性问题中,因为它可以处理非常复杂的非线性关系。本程序默认使用的是RBF核函数,参数`D`用于控制高斯核函数的宽度。 ##### 3. 数据预处理 虽然程序本身没有直接涉及数据预处理的过程,但在实际应用中,对数据进行适当的预处理是非常重要的。常见的预处理步骤包括归一化、缺失值处理等。 ##### 4. 模型参数 - **Epsilon**: ε-insensitive loss function的ε值,控制回归带宽。 - **C**: 松弛变量的惩罚系数,控制模型复杂度与过拟合的风险之间的平衡。 #### 三、程序实现细节 ##### 1. 函数输入与输出 - **输入**: - `X`: 输入特征矩阵,维度为(n, l),其中n是特征数量,l是样本数量。 - `Y`: 目标值向量,长度为l。 - `Epsilon`: 回归带宽。 - `C`: 松弛变量的惩罚系数。 - `D`: RBF核函数的参数。 - **输出**: - `Alpha1`: 正的拉格朗日乘子向量。 - `Alpha2`: 负的拉格朗日乘子向量。 - `Alpha`: 拉格朗日乘子向量。 - `Flag`: 标记向量,表示每个样本的类型。 - `B`: 偏置项。 ##### 2. 核心代码解析 程序首先计算所有样本间的核矩阵`K`,然后构建二次规划问题并求解得到拉格朗日乘子向量。根据拉格朗日乘子的值确定支持向量,并计算偏置项`B`。 - **核矩阵计算**:采用RBF核函数,通过`exp(-(sum((xi-xj).^2)/D))`计算任意两个样本之间的相似度。 - **二次规划**:构建目标函数和约束条件,使用`quadprog`函数求解最小化问题。 - **支持向量识别**:根据拉格朗日乘子的大小判断每个样本是否为支持向量,并据此计算偏置项`B`。 #### 四、程序扩展与优化 - **多核函数支持**:可以通过增加更多的核函数选项,提高程序的灵活性。 - **自动调参**:实现参数自动选择的功能,例如通过交叉验证选择最优的`Epsilon`和`C`值。 - **并行计算**:利用MATLAB的并行计算工具箱加速计算过程,特别是当样本量很大时。 #### 五、应用场景 该程序适用于需要进行非线性回归预测的场景,如经济预测、天气预报等领域。通过调整核函数和参数,可以有效应对各种类型的非线性问题。 ### 总结 本程序提供了一个支持向量机非线性回归的完整实现框架,通过灵活的核函数设置和参数调整,能够有效地处理非线性问题。对于需要进行回归预测的应用场景,这是一个非常实用且强大的工具。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值