一:应用背景
快速查找海量字符串数组中查找是否包含某个字符串(密文),应用于实验室的分布式破译系统中。
二:实现主要思路
2.1 构造位图(bitMap),位图的每个bit对应一条密文,即密文映射到位图某个bit上,采用特定的hash函数计算映射地址,位图的大小根据碰撞系数可变化。位图过小,那么越多的明文字符串就会映射到同一个bit上,从而导致查找性能下降。位图查找的时间复杂度为O(1)
2.2 二分查找实现密文字符串的精确查找,二分查找的时间复杂度为O(log(n))
GPU上的上千万条线程会同时暴力计算每一个候选明文,计算出来的密文会和给定的密文进行比较查找,查找过程如下:先通过位图查找该密文字符串是否可能在密文数组中(由于hash函数的碰撞性并不能保证一定性,所以才需要二分查找进行精确的查找),如果通过位图查找,则进入二分查找阶段进行精确的查找。位图的目的是刷选掉绝大部分不符合的密文字符串,从而减少二分查找的次数,最终提高性能。
三:串行代码
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <malloc.h>
#include <string.h>
#include <assert.h>
#include <sys/time.h>
#define BITMAP_MIN 16
#define BITMAP_MAX 24
#include <iostream>
using namespace std;
void *mymalloc(size_t size);
void *myrealloc(void *ptr, size_t oldsz, size_t add);
void myfree (void *ptr);
static uint32_t generate_bitmaps (const uint32_t digests_cnt, const uint32_t dgst_size, const uint32_t dgst_shifts, uint32_t *digests_buf_ptr, const uint32_t bitmap_mask, const uint32_t bitmap_size, uint32_t *bitmap_a, uint32_t *bitmap_b, uint32_t *bitmap_c, uint32_t *bitmap_d, const uint64_t collisions_max);
static uint32_t check (const uint32_t digest[2], uint32_t *bitmap_s1_a, uint32_t *bitmap_s1_b, uint32_t *bitmap_s1_c, uint32_t *bitmap_s1_d, uint32_t *bitmap_s2_a, uint32_t *bitmap_s2_b, uint32_t *bitmap_s2_c, uint32_t *bitmap_s2_d, const uint32_t bitmap_mask, const uint32_t bitmap_shift1, const uint32_t bitmap_shift2);
static int find_hash (const uint32_t digest[4], const uint32_t digests_cnt, uint32_t *digests_buf, uint32_t dgst_size);
void low_ToBinary(char *in ,uint8_t *out ,int length) {
if(strlen(in) != length) {
printf("\n low_ToBinary error !! in_len: %d != %d\n",strlen(in),length);
return;
}
for(int i = 0; i < length; i+=2) {
unsigned char tmp = 0;
if(in[i] >= 'a' && in[i] <= 'z') {
tmp += in[i] - 'a' + 10;
}
else if(in[i] >= 'A' && in[i] <= 'Z') {
tmp +=in[i] - 'A' + 10;
}
else if(in[i] >= '0' && in[i] <= '9') {
tmp += in[i] - '0';
}
tmp = tmp * 16;
if(in[i+1] >= 'a' && in[i+1] <= 'z')