雪雪

mapreduce复习资料，供学习下载1. 文件处理 1 2. 概要模式 2 2.1 数值概要 2 2.1.1 最大值最小值与计数 2 2.1.2 平均值 6 2.1.3 中位数与标准差 10 2.2 倒排索引概要 14 2.3 计数器计数 17 3. 过滤模式 21 3.1 过滤 21 3.1.1 分布式grep 21 3.1.2 简单随机抽样SRS 22 3.2 布隆过滤 24 3.3 TOP10 28 4. 数据组织模式 32 4.1 分层 32 4.2 分区 37 4.3 分箱 41 4.4 全排序 43 4.5 混排 47 5. 连接模式 50 5.1 Reduce端连接 51 5.2 复制连接 56 5.3 组合连接 59 5.4 笛卡儿积 60

第一章：大数据与云计算 1.何为大数据？ 海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。 2.大数据具有4V+1C的特征 （1）数据量大：存储的数据量巨大，PB级是常态 （2）多样：数据的来源及格式多样 （3）快速：数据增长速度快 （4）价值密度低：需要对大量的数据进行处理，挖掘其潜在的价值。 （5）复杂度：对数据的处理和分析的难度大 3.什么是云计算？ 长定义：云计算是一种商业模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能根据需要获取计算力、存储空间和信息服务。 短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。 4.云计算是并行计算、分布式计算和网络计算的发展。 5.云计算特点： （1）超大规模（2）虚拟化（3）高可靠性（4）通用性 （5）高可伸缩性（6）按需服务（7）极其廉价 6.云计算按照服务类型大致可分为三类 （1）将基础设施作为服务。（IaaS）（2）将平台作为服务。（PaaS）（3）将软件作为服务（SaaS） 7.云计算实现机制 云计算技术体系结构分为四层：物理资源层、资源池层、管理中间件层和SOA构建层 8.云计算优势 （1）更低的硬件和网络成本（2）更低的管理成本和电力成本（3）更高的资源利用率

一、概述 1. 编译方式与解释方式区别：是否生成目标代码 2. 编译程序总框架 二、词法分析 1.状态转换图的功能：识别（接受）一定的符号串（单词） 2.状态转换图的程序实现的思路：为每个状态结点都编写一个子程序 3.字母表的概念：一般用∑表示 4.闭包的概念：闭包V*中的每个字都是由V中的字经过若干次连接而成的 5.正则闭包V+的概念：是V上所有符号串的集合 6.∑*定义：表示∑上所有字的全体，空字ε也包括在其中 7.∑+空字ε不包含，非ε 8.ε，{ }，{ε}之间的区别 9.ε所对应的正规集为{ε} 10.正规式与正规集的定义：知道如何用正规式表示一个正规集 11.简述NFA和DFA的定义与区别 12.若M的某些结点既是初态结点又是终态结点，或者存在一条从某初态结点到某个终态结点的ε通路，那么空字ε可为M所识别 13.正规式与优先自动机的等价性 14.定理2.对于∑上的每一个正规式V，存在一个∑上的DFA M，使得L(M)=L(V) 15.DFA M的化简的概念和方法：终态和非终态是可区别的，因为终态可以读出空字ε，而非终态不能读出空字ε 16.课后作业一个例题 17.构造一个DFA，它接受∑={x，y}上所有倒数第二个字符为y的字符串