- 博客(2)
- 收藏
- 关注
RSS订阅原创 MapReduce
一、Mapreduce概述 Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。 MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由Map以并行的方式处理。每个作业都包含map和reduce两个阶段。 二、工作流程概述 大数据处理包括：分布式存储和分布式计算。 MapReduce的核心思想可以用**"分而治之"**来描述，即把一个大的数据集拆分成多个小数据块在多台机器上并行处理，也就是说，
2022-03-21 18:05:13
246
原创 大数据概况以及Hadoop生态系统
一，什么是大数据？ 大数据是一个描述大量高速，复杂和可变数据的术语，需要先进的技术来实现信息的捕获，存储，分发，管理和分析。大数据包含四个特性(4v)，体量(Volume)、速度(Velocity)、多样性(Variety)、真实性(Variety)。 体量(Volume)：数据每天源源不断地从不同的数据源产出，比如社交平台、用户日志、运营商日志等数据。 速度(Velocity)：数据生成，分析，移动的速度。 多样性(Variety)：数据来自于不同的数据源的多种格式，通过组合的方式让数据形成有意义
2022-03-14 18:17:11
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人