大数据
文章平均质量分 94
守钱
对c/c.python 非常感兴趣并正在努力学习中
展开
-
大数据-Hadoop-MR
MR介绍MapReduce 是 Google 推广的一个简单的编程模型,它对以高度并行和可扩展的方式处理大数据集很有用。 MapReduce 的灵感来源于函数式编程,用户可将他们的计算表达为 map 和 reduce 函数,将数据作为键值对来处理。 Hadoop 提供了一个高级 API 来在各种语言中实现自定义的 map 和 reduce 函数。Hadoop 基础架构负责处理分布式处理的所...原创 2018-11-27 14:14:21 · 444 阅读 · 0 评论 -
大数据-Hadoop-HDFS
这篇文章是为了记录学习中的关键点,不是教程~~1. 一致性 HDFS应用需要一个“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变. 这一假设简化了数据一致性问题, 并且使高吞吐量的数据访问成为可能. 重点: HDFS不能修改2. 架构相比官方的图,这张图更好 HDFS 采用Master/Slave的架构来存储数据,这...原创 2018-11-27 13:54:48 · 222 阅读 · 0 评论