大数据框架Hadoop新增校验功能,防数据损坏,保护端到端数据完整性

新的Apache Hadoop端到端数据完整性验证,有助于验证不同存储系统间传输数据的完整性,也能检测出因内存错误造成的数据损坏。

 

为确保用户数据在传输过程未被更改,Google、twitter以及Apache Hadoop开源社区合作,为Apache Hadoop加入跨异构文件系统的端到端数据验证功能,能用于如HDFS以及Google Cloud Storage间数据传输的校验。

 

Google提到,在不同存储系统间移动或是复制数据的时候,最好执行验证以确保数据安全,虽然现在有不少机制在保护点到点传输数据的完整性,但是执行端到端的数据完整性验证,则可以为典型传输机制增加额外的保护。当然这也可以帮忙检测因为网

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值