大数据和空间限制问题专题(一)

原创 2017年01月03日 11:51:23

大数据和空间限制问题专题(一)


(一).基础知识回顾

下面一块是很弱智的基础,但是博主有时不注意又给混淆,仅供自己记忆使用,原同仁们勿吐槽!

bit(比特)计算机中表示数据的最小单位,又称位,由0或1组成。
Byte(字节):计算机处理数据的单位,计算机以字节为单位处理数据

1KB=1024Byte
1MB=1024KB
1GB=1024MB
1TB=1024GB

2的次方数

2 4 8 16 32 64 128 256(8) 512 1024(10) …. 2^32 =4294967296

2^32位 即32位处理器(计算机的寻址大小)的内存为4*1024*1024*1024Byte=4 294 967 296Byte = 4GB

2^64位 即64位处理器(计算机的寻址大小)的内存为2^64Byte = 170亿GB

1GB 约等于10^9B 也就是10亿字节

这里写图片描述


(二).哈希函数

1.哈希函数即散列函数

哈希函数的输入域可以是非常大的范围,但是输出域是固定范围。

2.哈希函数的性质:

a.典型的哈希函数都有无线的输入值域
b.输入值相同时,返回值相同,返回值即哈希值
c.输入值不同时,返回值可能一样,也可能不一样
d.不同输入值得到的哈希值,整体均匀的分布在输出域s上。(重要)
前三点性质是哈希函数的基础,最后一点是评价一个哈希函数优劣的关键。

(3)无论哈希函数设计有多么精细,都会产生冲突现象,也就是2个关键字处理函数的结果映射在了同一位置上,因此,有一些方法可以避免冲突。

一个优秀的哈希函数可以使不同输入值得到的哈希值均匀分布,哈希值越均匀的分布在s上,该哈希函数越优秀。这种均匀分布与输入值无关,比如”aaa1”,”aaa2”,”aaa3”,虽然相似,但一个优秀的哈希函数计算出的哈希值应该差异巨大。这样s(输出域)对%m后的结果,也会均匀的分布在0~m-1这个值域上。这一点在哈希函数的应用中是非常重要的。

4.如何设计哈希函数以及如何处理冲突,请看这篇博客:散列查找


(三).Map-Reduce思想
把大任务分成俩个阶段:
1.Map阶段(分)

  通过哈希函数把任务分成若干个子任务,哈希函数是系统自带的或是用户指定的,相同哈希值的任务会被分配到同一个节点上。在分布式系统中,一个节点可以是一个计算节点,也可以是一台计算机。

2.Reduce阶段

分开处理,并行运算,然后合并结果的阶段。

3.Map-Reduce的原理简单,但工程上的实现会遇到很多问题。

a.备份的考虑,分布式存储的设计细节,以及容灾策略
b.任务分配策略与任务进度跟踪的细节设计,以及节点状态的呈现
c.分布式系统多用户权限的控制

4.用Map-Reduce方法统计一篇文章中每个单词出现的个数。

(1).首先把文章进行预处理,最终得到一篇单词字符串文本。
比如去掉文章中的标点符号;对连字符”-“的处理,如pencil-box,和换行处的连字符;对于缩写的处理,如I’m、don’t等等;大小写的转换等。
(2).输入文本,生成每个单词词频为1的记录,进入map阶段
对每个单词都生成词频为1的记录。比如(dog,1)、(pig,1)等。此时一个单词可能有多个词频为1的记录,比如说可能有多个(dog,1)的记录。
(3).通过哈希函数,将单词文本分流成多个小文件。
根据哈希函数的性质我们知道,单词相同的记录会被分配到一起。
(4).进入Reduce阶段。
在子任务中,同一种单词的词频进行合并,最后得到所有记录并统一合并。因为每个子任务都是并行处理的,所以效率会比较高。


(四).常见海量数据处理题目的解题关键

**1. 分而治之,通过哈希函数将大文件分流到机器,或是分流成小文件,对每一个小文件进行处理,然后再把结果给合并起来
2. 常用HashMap,bitmap等数据结构。
3. 难点在于通讯,时间和空间的估算。**


(五).bitmap解决大数据量文件排序

【题目】请对10亿个IPV4的ip地址进行排序,每个ip只会出现一次。每个ip只会出现一次。

关键:只会出现一次,所以可以考虑使用bitmap模型。

IPv4中规定IP地址长度为32(按TCP/IP参考模型划分) ,即有2^32-1个地址。
IPv6协议的地址长度是128位,全部可分配地址数为2的128次方(2^128)个。

(1)普通方法
IPV4的ip数量大约为42亿,我们要记住2^32约等于42亿!每个ip需要4B来存储,10亿个ip全部转换为无符号整数,然后使用快速排序方法,然后把10亿个排好序的数字转换为ip地址。需要4GB的内存空间!但是有更好的方法。

(2).bitmap方法
申请一个长度为2^32的bit类型的数组,每个位置上是一个bit,只可表示0或者1两种状态,空间大概为2^29字节,大约512Mb。
这里写图片描述

如果整数1出现,就把bitmap对应的位置从0变到1,这个数组可以表示任意一个(注意是一个)32位无符号整数是否出现过,

然后把10亿个ip地址全部转换成整数,相应的在bitmap中相应的位置描黑即可,

最后只要从bitmap的零位一直遍历到最后,然后提取出对应不为0位的整数,再转换成ip地址,就完成了从小到大的排序。


(五).桶排序处理大数据

【题目】请对10亿个年龄进行排序

【关键】年龄是有范围的,一般为0~200.所以我们很容易联想到桶排序!通过桶排序的进化版基数排序实现最终排序。
大家可以看看我的这篇博客:十大排序算法


该博文设计到的知识点:
十大排序算法
散列查找
布隆过滤器

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

大数据和空间限制问题专题(二)

大数据和空间限制问题专题(二)

大数据和空间限制的问题!

1.打击灌水和欺诈信息的发布,58上的帖子从到展示要经历重重检测。检测规则一共有50个,一条帖子可能会同时被同时被多个规则拦截,也可能不被任何规则拦截。现有一个日志文件,每一行都记录着一个帖子ID和若...

大数据时代的精准推送限制了我们的视野

现在我们处于一个大数据时代,我们的喜好、习惯、每天出入的场所、我们关注的新闻甚至于我们的一切都在被这个大数据时代所监听。亚马逊知道我喜欢读IT类的书,网易云知道我喜欢日系音乐,沃尔玛知道我喜欢甜品,我...

突破R内存限制的企业级大数据挖掘利器:Microsoft R Server 快速上手

Microsoft R Server 是一款基于R的企业级大数据分析平台. 支持各种大数据统计分析,预测性模型和机器学习功能 支持基于R的全套数据分析过程-探索、分析、可视化和建模等. 通过利用和扩...

一道面试题(大数据量 内存限制)

问题:3000w数据的表,取某项字段前50项数据 ,内存2g方案:一个数据文件,有3000W行,每行有一个id号,文件内容无任何排序。现在让你把id前 TOP 位取出来, TOP = 50.要求:你的...

突破php.ini上传文件限制,phpmyadmin导入大数据方法

Normal 0 7.8 磅 0 2 false false false MicrosoftIn...

【开源夏令营优秀开题报告】专题之三-云与大数据合集

5个提案的14个开题报告,涉及数据可视化实践、社交云电视模型、Spark上流式机器学习算法实现、基于云存储的Linux系统增强服务和网络拓扑距离的高效KNN查询。

面试题目-大数据量专题

1. 给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL。  2. 有10个文件,每个文件1G, 每个文件的每一行都存放的是用户的qu...
  • nengyu
  • nengyu
  • 2012-05-29 09:44
  • 1593
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)