/* 一个关于算法的面试题，来源于网络 */
/*
请教大家一个算法题[问题点数:10分]
chu009
(chu009)
我面试的时候曾经遇到的一道算法题，写在这大家一起讨论下，争取找出个好的解决方案。
题目是这样的：有两个文件，A文件里有大量的电话号码，上亿条，里面有少量的重复号码，要求把A文件里面的重复号码去掉然后存入B文件。
我的解决方法：建立一个二叉排序树存储所有A文件中不重复的电话号码信息。我从A文件每次读取一条电话号码，然后插入到二叉树结构中，如果这条记录已经存在则不进行插入。最后二叉排序树中包含了所有A文件中不重复的电话号码信息。改进的方式是在插入过程中将二叉排序树调整为二叉平衡树。
将二叉树按某种方式进行遍历，将电话号码信息依次写入B文件。如果按中序遍历，则B文件中的电话号码是有序的。
这里我建立二叉树的时间复杂度是O（nlgn），写入B文件O（n），但是二叉树节点需要存储电话号码信息就要占用内存，上亿节点占用多大的内存啊，这是对方给我提出的challenge，我没给出更好的方法。
我的出发点是降低时间复杂度，但是没有解决内存占用问题。
但是不把A文件中的节点存入内存，假如这样做：将A文件一次取一条记录，然后在B文件从头至尾查找是否有重复的，如果没有重复的加入到B文件末尾，然后A文件再取下一条，重复此过程。
这样虽然节省了内存，但是时间复杂度为O（N*N）（上亿条记录，这个时间复杂度是很恐怖的），而且每插入一条就要把B文件读取一遍也是非常耗时的。
我没有想出更好的方法，大家帮忙看看吧。
*/
/*==============================================================================
文 件 名 : Win32CApp.c
功 能 : 从A文件中读入手机号码，去掉重复出现的手机号，内容输出到文件B中。
日 期 : 2011-10-16
作 者 : jernymy
版 权 : <Copyright(C) ... jernymy.>
版 本 : V1.0
-------------------------------------------------------------------------------
说 明 : 使用位图的模式，参考编程珠玑(2)中介绍的一种算法。
以下是中国的手机号码分段情况
新联通 （中国联通+中国网通）手机号码开头数字 130、131、132、145、
155、156、185、186
新移动 （中国移动+中国铁通）手机号码开头数字 134、135、136、137、
138、139、147、150、151、152、157、158、159、182、183、187、188
新电信 （中国电信+中国卫通）手机号码开头数字 133、153、189、180
号码段情况可以看到手机号码区间在130 0000 0000 - 189 9999 9999
范围 = 600 0000 0000, 无法用以一个u32的整形表示到。
而160,170均不可用，所以将18用16来替换，于是180->160, 189->169
则范围40 0000 0000，已经在u32最大范围之内
(0xFFFF FFFF) 42 9496 7295，所以我们只需要定义足够u32数组即可。
目前定一个区间为40 0000 0000，共需要(40 0000 0000/32)=
1 2500 0000个u32数组表示，
公占用内存空间(40 0000 0000/32)*4=5 0000 0000 Bytes
≈476.837158203125M Bytes，方法可行。
==============================================================================*/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>
#include <malloc.h>
// 42 9496 7295
// 2147483648
typedef unsigned int u32;
/* { jernymy - the status error no */
typedef u32 STATUS;
#define ERR_OK 0
#define ERR_PRMT_NULL 1
#define ERR_PHONE_ZERO 2
#define ERR_PHONE_NOTINRAGNE 3
#define ERR_PHONE_INVAILD 4
#define ERR_PHONE_LEN 5
#define ERR_MALLOC 10
#define ERR_CREATE_FILE 11
#define ERR_OPEN_FILE 12
/* } jernymy - the status error no */
// 1亿的数据
#define ONE_YI (u32)(10000*10000)
// for test
#define FILE_PHONE_NUM (u32)(10000*100)
#define PHONE_EVERY (u32)(10*ONE_YI)
#define VAR_LEN (u32)(32)
// phone like 130 xxxx xxxx
#define MAX_PHONE_NUM_LEN 11
// process like 30 xxxx xxxx, remove high bit
#define MAX_PHONE_USE_LEN 10
// current is 40 0000 0000
#define TOTAL_PHONE_NUM (u32)(40*ONE_YI)
// current is 30 0000 0000
#define SPECIAL_PHONE_NUM (u32)(30*ONE_YI)
// current is 40 0000 0000/32 = 1 2500 0000
#define MAX_PHONE_BIT (u32)(TOTAL_PHONE_NUM/VAR_LEN)
// source file, will process
#define PHONE_FILE_NAME "phone.txt"
// the dest file, not have repeat phone
#define PHONE_NO_RPT_FILE_NAME "phone_norpt.txt"
// set array one bit is 1
#define SET_ARY_BIT(ary,id) ( ary[id/VAR_LEN] |= (1 << (id%VAR_LEN)) )
// check array one bit is 1 ?
#define IS_SET_BIT(ary,id) ( ary[id/VAR_LEN] & (1 << (id%VAR_LEN)) )
// current phone rang in used
static short g_sPhoneAry[] =
{
130, 131, 132, 133, 134, 135, 136, 137, 138, 139,
145, 147,
150, 151, 152, 153, 154, 155, 156, 157, 158, 159,
180, 182, 183, 185, 186, 187, 188, 189,
};
#define PHONE_TITLE_NUM ( sizeof(g_sPhoneAry) / sizeof(short) )
// u32 array pointer, need malloc
static u32 *g_padwPhoneAry = NULL;
#define PHONE_REPEAT_FILE_NAME "phone_rpt.txt"
static FILE *g_fpRepeat = NULL;
/*--------------------------------- { function ---------------------------------*/
/*==============================================================================
函 数 名 : TstInputFile
功 能 : 建立一个手机号码文件，100万个，其中包括一部分重复的号码，仅测试使用
参 数 : 无
返 回 值 : 无
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static void TstInputFile(void)
{
u32 dwIdx;
u32 dwVar;
short wAryId;
FILE *fpDst;
char achPhone[12] = {0};
fpDst = fopen(PHONE_FILE_NAME, "wt");
if (NULL == fpDst)
{
printf("open file:%s fail\n", PHONE_FILE_NAME);
return;
}
srand( (unsigned)time(NULL) );
printf("PHONE_TITLE_NUM:%d\n", PHONE_TITLE_NUM);
// create FILE_PHONE_NUM phone number
for (dwIdx = 0; dwIdx < FILE_PHONE_NUM; dwIdx++)
{
wAryId = rand()%PHONE_TITLE_NUM;
dwVar = rand()%FILE_PHONE_NUM;
fprintf(fpDst, "%3d%08d\n", g_sPhoneAry[wAryId], dwVar);
// create 100 repeat phone number
// and total phone may have other repeat
if (0 == (dwIdx % (FILE_PHONE_NUM/100)) )
{
fprintf(fpDst, "%3d%08d\n", g_sPhoneAry[wAryId], dwVar);
}
}
fclose(fpDst);
}
/*==============================================================================
函 数 名 : TstCrtRepeatFile
功 能 : 建立一个文件句柄，该文件记录所有重复号码
参 数 : 无
返 回 值 : 无
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static void TstCrtRepeatFile(void)
{
g_fpRepeat = fopen(PHONE_REPEAT_FILE_NAME, "wt");
if (NULL == g_fpRepeat)
{
printf("Create file:%s fail\n", PHONE_REPEAT_FILE_NAME);
}
}
/*==============================================================================
函 数 名 : TstAtoll
功 能 : 建立一个文件句柄，该文件记录所有重复号码
参 数 : [in] const char *pchStr - 手机号码字符串
[out] u32 *pdwNumber - 要输出的手机号码整形，将最高位的1去
掉，同时范围在0-3之间。前3为变动
130-159-->100-129-->00-29
180-189-->130-139-->30-39
返 回 值 : STATUS (ERR_OK-success, other-error)
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static STATUS TstAtoll(const char *pchStr, u32 *pdwNumber)
{
u32 dwLen = 0;
char achPhone[MAX_PHONE_NUM_LEN+1] = {0};
if (NULL == pchStr)
{
printf("parameter is NULL!\n");
return ERR_PRMT_NULL;
}
if (NULL == pchStr[0])
{
printf("parameter[0] is 0, phone is 0!\n");
return ERR_PHONE_ZERO;
}
// check phone is valid
if ( (pchStr[1] > '8') || (pchStr[1] < '3') )
{
printf("parameter:%s not a phone!\n", pchStr);
printf("must in range (130 0000 0000 - 189 9999 9999)!\n");
return ERR_PHONE_NOTINRAGNE;
}
// remove the high bit char, 130 xxxx xxxx - 30 xxxx xxxx
strncpy(achPhone, pchStr+1, MAX_PHONE_USE_LEN);
/* change 18x xxxx xxxx -> 16x xxxx xxxx */
if (achPhone[0] == '8')
{
achPhone[0] = '6';
}
// range in u32 data, so change (13x-16x) (10x-13x)
achPhone[0] -= 3;
while (achPhone[dwLen] != '\n' && (dwLen < 10))
{
if ( (achPhone[dwLen] < '0') || (achPhone[dwLen] > '9') )
{
printf("parameter:%s is not a string number!\n", dwLen);
return ERR_PHONE_INVAILD;
}
*pdwNumber = (*pdwNumber * 10) + (achPhone[dwLen]-'0');
dwLen++;
}
// check phone length is valid
if (MAX_PHONE_USE_LEN != dwLen)
{
printf("parameter:%s length error, must is:%d\n",
pchStr, MAX_PHONE_NUM_LEN);
return ERR_PHONE_LEN;
}
return ERR_OK;
}
/*==============================================================================
函 数 名 : GetPhone
功 能 : 从A文件中读取手机号码，并使用位图模式保存到分配的内存中。
参 数 : 无
返 回 值 : STATUS (ERR_OK-success, other-error)
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static STATUS GetPhone(void)
{
u32 dwNum;
char achPhone[16] = {0};
FILE *fpSrc;
// 5 0000 0000 Bytes
// 476.837158203125 M Bytes
// if here can not new this succ, please use 4 array, every new 1 2500 0000 Bytes
printf("TOTAL_PHONE_NUM:%u, VAR_LEN:%u\n", TOTAL_PHONE_NUM, VAR_LEN);
printf("malloc %u u32 size memory start\n", MAX_PHONE_BIT);
g_padwPhoneAry = (u32 *)malloc(MAX_PHONE_BIT*sizeof(u32)); // g_padwPhoneAry = new u32[MAX_PHONE_BIT];
if (NULL == g_padwPhoneAry)
{
printf("malloc %u u32 size memory fail\n", MAX_PHONE_BIT);
return ERR_MALLOC;
}
memset(g_padwPhoneAry, 0, MAX_PHONE_BIT*sizeof(u32));
fpSrc = fopen(PHONE_FILE_NAME, "rt");
if (NULL == fpSrc)
{
printf("open file:%s fail\n", PHONE_FILE_NAME);
return ERR_OPEN_FILE;
}
while (!feof(fpSrc))
{
if (!fgets(achPhone, sizeof(achPhone), fpSrc))
{
break;
}
// switch string phone to u32 data
dwNum = 0;
if (ERR_OK != TstAtoll(achPhone, &dwNum))
{
continue;
}
// check the bit is set, no set the set
if (!IS_SET_BIT(g_padwPhoneAry, dwNum))
{
SET_ARY_BIT(g_padwPhoneAry, dwNum);
}
else
{
// save the data to repeat file
if (NULL != g_fpRepeat)
{
// the string have \n
fprintf(g_fpRepeat, "%s", achPhone);
}
// printf("get a repeat num:%s\n", achPhone);
}
}
fclose(fpSrc);
if (NULL != g_fpRepeat)
{
fclose(g_fpRepeat);
g_fpRepeat = NULL;
}
return ERR_OK;
}
/*==============================================================================
函 数 名 : PutPhone
功 能 : 将内存中的数据存入到文件B中，此时已经没有重复的数据。
参 数 : 无
返 回 值 : STATUS (ERR_OK-success, other-error)
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static STATUS PutPhone(void)
{
u32 dwIdx;
u32 dwHigh;
FILE *fpDst;
char achPhone[12] = {0};
fpDst = fopen(PHONE_NO_RPT_FILE_NAME, "wt");
if (NULL == fpDst)
{
printf("Create file:%s fail\n", PHONE_NO_RPT_FILE_NAME);
return ERR_CREATE_FILE;
}
// the max range (40 0000 0000)
for (dwIdx = 0; dwIdx < TOTAL_PHONE_NUM; dwIdx++)
{
if (IS_SET_BIT(g_padwPhoneAry, dwIdx))
{
dwHigh = dwIdx / SPECIAL_PHONE_NUM;
dwHigh += 30;
if (dwHigh >= 60)
{
dwHigh += 20;
}
// 1xx xxxx xxxx to file B
fprintf(fpDst, "1%2d%08d\n", dwHigh, dwIdx);
}
}
fclose(fpDst);
return ERR_OK;
}
/*==============================================================================
函 数 名 : PrintTime
功 能 : 打印输入的字符串和当前时间
参 数 : [in] const char *pchStr - 要打印的字符串
返 回 值 : 无
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
static void PrintTime(const char *pchStr)
{
time_t dwCurTime = time(NULL);
printf("%s:%s", pchStr, ctime(&dwCurTime));
}
/*==============================================================================
函 数 名 : main
功 能 : 文件的主函数
参 数 : 无
返 回 值 : 无
日 期 : 2011-10-16
作 者 : jernymy
版 本 : V1.0
==============================================================================*/
int main(void)
{
// jernymy used create a phone file for test
// TstInputFile();
// jernymy used create a phone repeat file
// for save repeat phone, just test
TstCrtRepeatFile();
// get phone data, from file string to memory u32
// and remove repeat data
printf("get file string phone start...\n");
PrintTime("Start Time");
if (ERR_OK != GetPhone())
{
printf("get file string phone fail\n");
return -1;
}
PrintTime("End Time");
printf("get file string phone finish\n");
printf("---------------------------------------------\n");
// put phone data, from memory u32 to file string
printf("put memory phone to file string start...\n");
PrintTime("Start Time");
if (ERR_OK != PutPhone())
{
printf("put memory phone to file string fail\n");
return -2;
}
PrintTime("End Time");
printf("put memory phone to file string finish\n");
return 0;
}
/*--------------------------------- } function ---------------------------------*/
/*
jernymy
测试结果VC6.0上，使用100万的测试数据中有筛选了重复之后剩下的62万多的数据
耗时不到2分钟
硬件信息
CPU--intel Pentium Dual E2160 1.8G
内存-3G
get file string phone start...
Start Time:Sun Oct 16 19:06:50 2011
TOTAL_PHONE_NUM:4000000000, VAR_LEN:32
malloc 125000000 u32 size memory start
End Time:Sun Oct 16 19:06:51 2011
get file string phone finish
---------------------------------------------
put memory phone to file string start...
Start Time:Sun Oct 16 19:06:51 2011
End Time:Sun Oct 16 19:08:13 2011
put memory phone to file string finish
Press any key to continue
**/
扫一扫
5941
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
