大数据第二周汇总

计算框架

指实现某项人物或某项工作从开始到结束得计算过程或流程

mapreduce计算框架

并行计算

指一个大的人物拆分成多个小人物，将多个小任务分发到多个节点上，每个节点同时执行计算

Hadoop为什么比传统技术方案快

1.分布式存储
2.分布式并行计算
3.节点横向扩展
4.移动程序到数据端
5.多个数据副本

mapreduce核心思想

分而治之，先分后和。将一个大的、复杂的工作或人物拆分成多个小的人物，并行处理，最终进行合并
mapreduce 由 map 和 reduce 组成
map：将数据进行拆分
reduce：对数据进行汇总

WordCount计算

计算每个单词出现的个数
原始数据zhangsan,lisi,wangwuzhaoliu,maqizhangsan,zhaoliu,wangwulisi,wangwu
期望的最终
zhangsan 2
lisi 2
wangwu 3
zhaoliu 2
maqi 1

偏移量

指的是每行行首字母移动到文档的最前面需要移动的字符。

编写Map代码