新的Apache Hadoop端到端数据完整性验证,有助于验证不同存储系统间传输数据的完整性,也能检测出因内存错误造成的数据损坏。
为确保用户数据在传输过程未被更改,Google、twitter以及Apache Hadoop开源社区合作,为Apache Hadoop加入跨异构文件系统的端到端数据验证功能,能用于如HDFS以及Google Cloud Storage间数据传输的校验。
Google提到,在不同存储系统间移动或是复制数据的时候,最好执行验证以确保数据安全,虽然现在有不少机制在保护点到点传输数据的完整性,但是执行端到端的数据完整性验证,则可以为典型传输机制增加额外的保护。当然这也可以帮忙检测因为网