- 博客(2)
- 收藏
- 关注
RSS订阅转载 HDFS原理：HDFS 读写数据
HDFS 是做什么的？ HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的...
2018-07-10 18:00:22
2605
原创 Spark的排序原理
就比较新的Spark来说，题主要找的 RDD 层面的 sortByKey() 实现在Spark的 shuffle 当中的。 sortByKey() 采用的是tera-sort风格的实现，其自身包含一个使用range partitioning的shuffle操作。Stage 0：Sample。创建 RangePartitioner，先对输入的数据的key做sampling来估算key的...
2018-07-10 17:06:00
2217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人