位图法

原创 2016年06月01日 13:59:56

用位图法实现海量数据排序和重复问题

C

#include "stdafx.h"
#include <time.h>
#define BITWORD 32
#define ARRNUM 10000

int mmin = 10000000;
int mmax = 99999999;
int N = (mmax-mmin+1);   //存储的最大数字
#define  BITS_PER_WORD 32
#define WORD_OFFSET(b) ((b) / BITS_PER_WORD)
#define BIT_OFFSET(b)  ((b) % BITS_PER_WORD)
void SetBit(int *words, int n)
{
    n -= mmin;
    words[WORD_OFFSET(n)] |= (1 << BIT_OFFSET(n));
}

 void ClearBit(int *words, int n)
{
    words[WORD_OFFSET(n)] &= ~(1 << BIT_OFFSET(n));//将逻辑位置为n的二进制位置为0
}

 int GetBit(int *words, int n)
{
     int bit = words[WORD_OFFSET(n)] & (1 << BIT_OFFSET(n));//测试逻辑位置为n的二进制位是否为1 
     return bit != 0;
}

 int main( )
{
    int i;
    int j;
    int arr[ARRNUM];
    int* words = new int[1 + N/BITS_PER_WORD]; //建立的位图的大小=存储的最大数字/每个字节的位数+1
    if(words == NULL) {
        cout << "new error\n" << endl;
        exit(0);
    }
    int count = 0;
    /*
    for (i = 0; i < N; i++)
   {
       ClearBit(words, i); //将逻辑位置为n的二进制位置为0
   }
   */
    for (j = 0; j < 1 + N/BITS_PER_WORD; j++)
   {
        words[j]=0;  //直接将该int置0,应该也是可以的
   }
    srand( (unsigned)time( NULL ) );
    printf("数组大小:%d\n", ARRNUM);
    for (j = 0; j < ARRNUM; j++)
   {
        arr[j]= rand( )%N;
        arr[j] += mmin;
        printf("%d\t", arr[j]);
    }
    for (j = 0; j < ARRNUM; j++)
   {
        SetBit(words, arr[j]);
   }

    printf("排序后a为:\n");

    for (i = 0; i < N; i++) 
    {
        if (GetBit(words, i)) {
            printf("%d\t", i+mmin);
            count++;
        }
     }

    printf("总个数为:%d\n",count);
    delete[] words;
    words = NULL;
	system("pause");
    return 0;
 }
C++

#include "stdafx.h"
#include <bitset>
#include <iostream>
#include <time.h>
#include <iomanip>
#define ARRNUM 2500
#define N ARRNUM/(sizeof(int)*8)+1
using namespace std;
 int main( )
{
    int i;
    int cnt=0;
    bitset<ARRNUM> bit;
    
    cout<<"数组大小: "<<ARRNUM<<endl;    
 
    srand((unsigned)time(NULL));
   for (i = 0; i < ARRNUM; i++)
    {
        int tmp= rand( )%ARRNUM;
		bit.set(tmp,1);
        cout<<setw(5)<<tmp<<" ";
    }
	cout<<endl<<"排序后: "<<endl;

	for(i=0;i<ARRNUM;i++){		
	    if(bit[i]==1){
	       cout<<setw(5)<<i<<" ";
	       cnt++;
	    }
	}
    cout<<endl<<"不重复的数目为: "<<cnt<<endl;
    system("pause");
    return 0;
 }


版权声明:本文为博主原创文章,未经博主允许不得转载。

大数据常用技巧之位图法

大数据常用技巧之位图法介绍位图的基本概念是用一个位(bit)来标记某个数据的存放状态,由于采用了位为单位来存放数据,所以节省了大量的空间。举个具体的例子,在Java中一般一个int数字要占用32位,如...
  • u013291394
  • u013291394
  • 2015年12月07日 21:27
  • 2920

redis位图法统计活跃用户

redis解决实际问题-----位图法统计活跃用户
  • qq_35596210
  • qq_35596210
  • 2017年04月07日 16:26
  • 780

大数据之位图法简单实现

所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 举个栗子,给定40亿个整型数据,现在给一个整数,要求判断这个数在不...
  • Korey_sparks
  • Korey_sparks
  • 2016年09月12日 13:55
  • 378

位图内存管理方法

static byte const firstHoleSize [] = {         8,0,1,0,2,0,1,0,3,0,1,0,2,0,1,0,4,0,1,0,2,0,1,0,3,0,...
  • liuxuezong
  • liuxuezong
  • 2013年03月21日 17:45
  • 2550

【每日算法】计数&基数&桶&位图排序-简介

在前面的文章中,我们介绍的都是基于比较的排序。对于比较排序,对含n个元素的序列进行排序,在最坏情况下都要用O(n logn)次比较(归并排序和堆排序是渐近最优的)。本文将继续介绍以线性时间运行的排序算...
  • jiange_zh
  • jiange_zh
  • 2016年02月20日 12:48
  • 1421

哈希的拓展——位图

关于哈希表,我们需要拓展一些知识,在这有一个位图需要我们理解。首先我们来看一道腾讯的题。 给4 0 亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这4 0 亿个数中。这...
  • qq_26768741
  • qq_26768741
  • 2016年11月08日 16:01
  • 870

位图法处理海量数据常见使用

位图法处理海量数据常见使用
  • u010846873
  • u010846873
  • 2017年04月25日 16:31
  • 130

集合的检索:位图法

位图法是一种逻辑上很巧妙的描述集合的方法。 如集合S={2,4,1,5,12},它用位图描述就是 0110 1100 0000 1000,两个字节即可描述S,左边是低阶位。用bitset存储的话就是{...
  • zhangxiangDavaid
  • zhangxiangDavaid
  • 2014年08月15日 19:53
  • 1722

编程珠玑:位图法排序&搜索

问题描述 输入:一个最多包含n个正整数的文件,每个数都小于n,其中n=107。如果在输入文件中有任何正数重复出现就是致命错误。没有其他数据与该正数相关联。 输出:按升序排列的输入正...
  • hardworkba
  • hardworkba
  • 2015年03月02日 11:22
  • 350

用Redis bitmap统计活跃用户、留存

Spool的开发者博客,描述了Spool利用Redis的bitmaps相关的操作,进行网站活跃用户统计工作。       原文:http://blog.getspool.com/2011/11/...
  • awhip9
  • awhip9
  • 2017年05月08日 18:57
  • 132
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:位图法
举报原因:
原因补充:

(最多只允许输入30个字)