简单的并行搜索计算

假设只有一台PC,linux32位操作系统,内存4G,4核CPU,需要在一8G大小的无序文本文件中搜索指定字符串(譬如:“I LOVE YOU”)的存储位置(距离文件头部的偏移量)和总数。
要求:最短的时间最高效的技术实现方式。

这类问题可以归结为并行搜索计算的范畴,要实现并发就必须要让每一个cpu都参与搜索计算,而且搜索和计算的过程不能有互斥锁,信号量等同步操作,否则并发就会在某种情况下变成了串行。
我的技术方案:
一.将该大尺寸文件按大小逻辑分成4大块,每一块2G
二.使用内存映射文件将每一块映射进进程的
地址空间
三.启动4个进程,将所有的块都映射到系统
的虚拟内存中
说明:因为32位的操作系统每个进程的地址
不可能超过3G(高端1G地址系统使用)
,所以只能多进程。
四.每个进程内部对映射进来的2G文件
内容再继续按照256MB分块儿,每一
块儿对应一个搜索线程。
五.这样4个进程,共计32(4*8)个线程并行
搜索计算,每一个线程只搜索特定的文件
块(256MB),绝对的并行。
六.最后一定要记得把每个相邻块(256MB)的
边界处搜索一遍,因为很难阻止相邻的块
边界把要搜索的字符串拦腰切断。
搜索方法是相邻的两个块的尾部n-1个字
符和另一个头部的n-1个字符,n=要搜索
的字符串字符个数。
就这样,一个单机版的纯粹的并行搜索计算的框架就出来了,由此扩展到多机,服务器集群,超大数据,千万亿级别的数据都可以
并行搜索和计算。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值