Hadoop
(✪ω✪)
。。。
展开
-
MapReduce初体验
MapReduce计算框架 并行计算框架 一个大的任务拆分成多个小任务,将多个小任务分发到多个节点上。每个节点同时执行计算。 MapReduce核心思想 分而治之,先分后和:将一个大的、复杂的工作或任务,拆分成多个小的任务,并行处理,最终进行合并。 MapReduce由Map和Reduce组成 Map: 将数据进行拆分 Reduce:对数据进行汇总 WordCount计算 统计单词出现...原创 2019-11-13 20:58:08 · 1229 阅读 · 0 评论 -
HDFS文件读写流程
文件写入过程 1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传; 2、 client请求第一个block该传输到哪些DataNode服务器上; 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C; 4、 client请求3台...原创 2019-11-05 08:37:16 · 1287 阅读 · 0 评论 -
Linux笔记(11)--hadoop集群搭建
第一步:上传压缩包并解压 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/ 第二步:查看Hadoop支持的压缩方式以及本地库 第一台机器执行以...原创 2019-11-04 09:41:04 · 1197 阅读 · 0 评论