算法分析--统计大文本中字母的出现次数

春风如贵客,一到便繁华。各位看官点赞再看,养成好习惯(●´∀`●)

声明:本人没有刷 leetcode的习惯!!!不是算法大神!!!

前言: 

在一台32核 64G内存的物理主机(RedHat7.4)上,存有2个大文件,每个文件大小约为1T,内容为英文单词组成的文档,现在需要统计每个英文大词在两个2文件中总共出现的次数。

分析: 

如果你直接将两个大文件加载到内存中,如果是面试,或者日常工作中,这是很危险的。

  1. 没有直接分析问题,简单粗暴,为之后的工作埋线隐患。
  2. 遇事不知变通,缺乏学习能力。

下面说我个人的思路:

  1. 1T文件,64G内存,意味着该文件不能直接读到内存中。
  2. 我们可以采用分而治之的思想,将文件分片。
  3. 1T文件可以分成3000份,每份大小约300M。(这点也可以分成1000份,2000份)
  4. 单独统计每一份的文件中,每个英文单词出现的次数。
  5. 可以使用redis、或者变量、或者数据库保存每份文件的统计结果。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值