大数据
文章平均质量分 82
悠然予夏
(考研备战中)纵有疾风起,人生不言弃;风乍起,合当奋意向此生;熬过无人问津的日子,才有诗和远方。
喜欢Java,热爱编程。
展开
-
Apache Hadoop 完全分布式集群搭建
介绍了hadoop集群的搭建方式原创 2022-09-24 20:04:33 · 424 阅读 · 0 评论 -
HDFS分布式文件系统
介绍了HDFS文件系统的基本概念原创 2022-09-25 14:05:07 · 376 阅读 · 0 评论 -
Shell 命令行操作HDFS
介绍了使用shell命令的方式操作HDFS。原创 2022-09-25 15:45:17 · 408 阅读 · 0 评论 -
JAVA代码操作HDFS
介绍了如何通过Java代码方式来操作HDFS原创 2022-09-26 12:23:05 · 5646 阅读 · 0 评论 -
HDFS读写解析
简单的介绍了HDFS读写过程原创 2022-09-26 22:49:35 · 226 阅读 · 0 评论 -
Namenode 与 SecondaryNameNode
介绍了NameNode的相关细节原创 2022-09-27 14:27:01 · 941 阅读 · 0 评论 -
Hadoop的限额与归档以及集群安全模式
介绍了Hadoop的限额与归档以及集群安全模式原创 2022-09-27 18:04:32 · 578 阅读 · 0 评论 -
MapReduce编程框架
介绍了MapReduce原创 2022-09-28 21:08:16 · 1259 阅读 · 3 评论 -
MapReduce编程规范及示例编写
介绍了MapReduce编程规范及示例编写。原创 2022-10-01 10:19:49 · 2112 阅读 · 0 评论 -
序列化Writable接口
基本序列化类型往往不能满足所有需求,比如在Hadoop框架内部传递一个自定义bean对象,那么该对象就需要实现Writable序列化接口。原创 2022-10-02 10:30:51 · 946 阅读 · 0 评论 -
MapTask运行机制 与 并行度
介绍了MapTask运行机制 与 并行度原创 2022-10-02 14:17:59 · 390 阅读 · 0 评论 -
ReduceTask 工作机制 与 并行度
介绍了ReduceTask 工作机制与并行度原创 2022-10-02 15:51:04 · 415 阅读 · 0 评论 -
Shuffle机制与自定义分区
介绍了Shuffle机制与自定义分区,并使用代码进行了演示原创 2022-10-03 09:34:00 · 606 阅读 · 0 评论 -
MapReduce中的Combiner
介绍了MapReduce中的Combiner组件原创 2022-10-03 13:43:01 · 879 阅读 · 0 评论 -
MapReduce排序之全局排序
介绍了MapReduce的全排序原创 2022-10-03 15:52:52 · 978 阅读 · 0 评论 -
MapReduce排序之GroupingComparator
介绍了MapReduce排序中的GroupingComparator排序方式原创 2022-10-03 20:04:24 · 632 阅读 · 0 评论 -
MapReduce Join实战之MR reduce端join
介绍了reduce端join的方式原创 2022-10-05 19:39:09 · 583 阅读 · 0 评论 -
MapReduce Join实战之MR mapper端join
介绍了mapper端join方法原创 2022-10-05 21:17:17 · 325 阅读 · 0 评论 -
MapReduce读取数据
介绍了MapReduce读取数据类,以及如何自定义类实现文件读取原创 2022-10-07 16:26:26 · 1500 阅读 · 0 评论 -
MapReduce输出数据
介绍了MapReduce输出数据OutputFormat类,以及如何自定义输出数据类型原创 2022-10-07 17:29:03 · 916 阅读 · 0 评论 -
shuffle阶段数据的压缩机制
介绍了shuffle阶段数据的压缩机制的实现方式原创 2022-10-08 18:06:58 · 488 阅读 · 0 评论 -
MapReduce综合案例
介绍了众多小文件的合并,以及对其分区排序多目录输出原创 2022-10-09 16:18:44 · 568 阅读 · 0 评论 -
MapReduce算法扩展
介绍了归并排序与快排原创 2022-10-09 16:36:36 · 332 阅读 · 0 评论 -
YARN资源调度
介绍了yarn相关知识原创 2022-10-09 20:12:28 · 957 阅读 · 0 评论 -
NameNode如何支撑高并发访问(双缓冲机制)
介绍了NameNode如何支撑高并发访问(双缓冲机制)的方法原创 2022-10-11 08:27:05 · 245 阅读 · 0 评论 -
Hadoop 3.x 新特性概述
介绍了hadoop3.x的一些新特性原创 2022-10-11 10:17:20 · 622 阅读 · 0 评论 -
Hadoop调优
介绍了Hadoop的如何调优,并进行了详细说明原创 2022-10-11 11:15:05 · 1290 阅读 · 1 评论 -
Hadoop二次开发环境搭建
介绍了hadoop如何进行二次开发原创 2022-10-11 13:28:06 · 734 阅读 · 0 评论