Hadoop v2(Yarn)中的快速Crc32

最新推荐文章于 2023-12-03 14:09:52 发布

那闯

最新推荐文章于 2023-12-03 14:09:52 发布

阅读量2.1k

点赞数

分类专栏： C/C++ 分布式 Algorithm

本文链接：https://blog.csdn.net/nachuang/article/details/8901438

版权

这篇博客探讨了Hadoop 2.0.3中PureJavaCrc32C的纯Java实现，并与直接使用iSCSI crc32指令的性能进行了对比测试。测试环境为Intel I5 2450M CPU和64KB的数据输入，结果显示了不同计算方式的效率差异。

摘要由CSDN通过智能技术生成

测试源码：

下面的代码是从Hadoop 2.0.3中PureJavaCrc32C.java中取出来的：

A pure-java implementation of the CRC32 checksum that uses
the CRC32-C polynomial, the same polynomial used by iSCSI
and implemented on many Intel chipsets supporting SSE4.2.

#include"Crc32Table.h"
#include<stdint.h>
#include<stdlib.h>
#include<sys/time.h>

#define TEST_SIZE (64<<10)
#define BLOCK_SIZE 512
/* Pure Crc32 */
uint32_t crc32(char b[], int off, int len) {
    static uint32_t crc = 0xffffffff;
    uint32_t localCrc = crc;

    while(len > 7) {
        const int c0 =(b[off+0] ^ localCrc) & 0xff;
        const int c1 =(b[off+1] ^ (localCrc >>= 8)) & 0xff;
        const int c2 =(b[off+2] ^ (localCrc >>= 8)) & 0xff;
        const int c3 =(b[off+3] ^ (localCrc >>= 8)) & 0xff;
        localCrc = (T[T8_7_start +