- 博客(2)
- 收藏
- 关注
原创 MapReduce
一、Mapreduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。 MapReduce 作业通过将输入的数据集拆分为独立的块,这些块由Map以并行的方式处理。每个作业都包含map和reduce两个阶段。 二、工作流程概述 大数据处理包括:分布式存储和分布式计算。 MapReduce的核心思想可以用**"分而治之"**来描述,即把一个大的数据集拆分成多个小数据块在多台机器上并行处理,也就是说,
2022-03-21 18:05:13
246
原创 大数据概况以及Hadoop生态系统
一,什么是大数据? 大数据是一个描述大量高速,复杂和可变数据的术语,需要先进的技术来实现信息的捕获,存储,分发,管理和分析。大数据包含四个特性(4v),体量(Volume)、速度(Velocity)、多样性(Variety)、真实性(Variety)。 体量(Volume):数据每天源源不断地从不同的数据源产出,比如社交平台、用户日志、运营商日志等数据。 速度(Velocity):数据生成,分析,移动的速度。 多样性(Variety):数据来自于不同的数据源的多种格式,通过组合的方式让数据形成有意义
2022-03-14 18:17:11
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人