关闭

大数据和空间限制问题专题(一)

标签: 大数据海量数据问题面试题排序算法
201人阅读 评论(0) 收藏 举报
分类:

大数据和空间限制问题专题(一)


(一).基础知识回顾

下面一块是很弱智的基础,但是博主有时不注意又给混淆,仅供自己记忆使用,原同仁们勿吐槽!

bit(比特)计算机中表示数据的最小单位,又称位,由0或1组成。
Byte(字节):计算机处理数据的单位,计算机以字节为单位处理数据

1KB=1024Byte
1MB=1024KB
1GB=1024MB
1TB=1024GB

2的次方数

2 4 8 16 32 64 128 256(8) 512 1024(10) …. 2^32 =4294967296

2^32位 即32位处理器(计算机的寻址大小)的内存为4*1024*1024*1024Byte=4 294 967 296Byte = 4GB

2^64位 即64位处理器(计算机的寻址大小)的内存为2^64Byte = 170亿GB

1GB 约等于10^9B 也就是10亿字节

这里写图片描述


(二).哈希函数

1.哈希函数即散列函数

哈希函数的输入域可以是非常大的范围,但是输出域是固定范围。

2.哈希函数的性质:

a.典型的哈希函数都有无线的输入值域
b.输入值相同时,返回值相同,返回值即哈希值
c.输入值不同时,返回值可能一样,也可能不一样
d.不同输入值得到的哈希值,整体均匀的分布在输出域s上。(重要)
前三点性质是哈希函数的基础,最后一点是评价一个哈希函数优劣的关键。

(3)无论哈希函数设计有多么精细,都会产生冲突现象,也就是2个关键字处理函数的结果映射在了同一位置上,因此,有一些方法可以避免冲突。

一个优秀的哈希函数可以使不同输入值得到的哈希值均匀分布,哈希值越均匀的分布在s上,该哈希函数越优秀。这种均匀分布与输入值无关,比如”aaa1”,”aaa2”,”aaa3”,虽然相似,但一个优秀的哈希函数计算出的哈希值应该差异巨大。这样s(输出域)对%m后的结果,也会均匀的分布在0~m-1这个值域上。这一点在哈希函数的应用中是非常重要的。

4.如何设计哈希函数以及如何处理冲突,请看这篇博客:散列查找


(三).Map-Reduce思想
把大任务分成俩个阶段:
1.Map阶段(分)

  通过哈希函数把任务分成若干个子任务,哈希函数是系统自带的或是用户指定的,相同哈希值的任务会被分配到同一个节点上。在分布式系统中,一个节点可以是一个计算节点,也可以是一台计算机。

2.Reduce阶段

分开处理,并行运算,然后合并结果的阶段。

3.Map-Reduce的原理简单,但工程上的实现会遇到很多问题。

a.备份的考虑,分布式存储的设计细节,以及容灾策略
b.任务分配策略与任务进度跟踪的细节设计,以及节点状态的呈现
c.分布式系统多用户权限的控制

4.用Map-Reduce方法统计一篇文章中每个单词出现的个数。

(1).首先把文章进行预处理,最终得到一篇单词字符串文本。
比如去掉文章中的标点符号;对连字符”-“的处理,如pencil-box,和换行处的连字符;对于缩写的处理,如I’m、don’t等等;大小写的转换等。
(2).输入文本,生成每个单词词频为1的记录,进入map阶段
对每个单词都生成词频为1的记录。比如(dog,1)、(pig,1)等。此时一个单词可能有多个词频为1的记录,比如说可能有多个(dog,1)的记录。
(3).通过哈希函数,将单词文本分流成多个小文件。
根据哈希函数的性质我们知道,单词相同的记录会被分配到一起。
(4).进入Reduce阶段。
在子任务中,同一种单词的词频进行合并,最后得到所有记录并统一合并。因为每个子任务都是并行处理的,所以效率会比较高。


(四).常见海量数据处理题目的解题关键

**1. 分而治之,通过哈希函数将大文件分流到机器,或是分流成小文件,对每一个小文件进行处理,然后再把结果给合并起来
2. 常用HashMap,bitmap等数据结构。
3. 难点在于通讯,时间和空间的估算。**


(五).bitmap解决大数据量文件排序

【题目】请对10亿个IPV4的ip地址进行排序,每个ip只会出现一次。每个ip只会出现一次。

关键:只会出现一次,所以可以考虑使用bitmap模型。

IPv4中规定IP地址长度为32(按TCP/IP参考模型划分) ,即有2^32-1个地址。
IPv6协议的地址长度是128位,全部可分配地址数为2的128次方(2^128)个。

(1)普通方法
IPV4的ip数量大约为42亿,我们要记住2^32约等于42亿!每个ip需要4B来存储,10亿个ip全部转换为无符号整数,然后使用快速排序方法,然后把10亿个排好序的数字转换为ip地址。需要4GB的内存空间!但是有更好的方法。

(2).bitmap方法
申请一个长度为2^32的bit类型的数组,每个位置上是一个bit,只可表示0或者1两种状态,空间大概为2^29字节,大约512Mb。
这里写图片描述

如果整数1出现,就把bitmap对应的位置从0变到1,这个数组可以表示任意一个(注意是一个)32位无符号整数是否出现过,

然后把10亿个ip地址全部转换成整数,相应的在bitmap中相应的位置描黑即可,

最后只要从bitmap的零位一直遍历到最后,然后提取出对应不为0位的整数,再转换成ip地址,就完成了从小到大的排序。


(五).桶排序处理大数据

【题目】请对10亿个年龄进行排序

【关键】年龄是有范围的,一般为0~200.所以我们很容易联想到桶排序!通过桶排序的进化版基数排序实现最终排序。
大家可以看看我的这篇博客:十大排序算法


该博文设计到的知识点:
十大排序算法
散列查找
布隆过滤器

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:24928次
    • 积分:752
    • 等级:
    • 排名:千里之外
    • 原创:47篇
    • 转载:3篇
    • 译文:0篇
    • 评论:33条
    最新评论