![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
风吟弄然
这个作者很懒,什么都没留下…
展开
-
【转】Hadoop学习--第三篇:使用 Docker 搭建 Hadoop 集群
原文:使用Docker搭建hadoop集群原文作者:繁城落叶 原文地址:https://blog.csdn.net/Leafage_M/article/details/72633408 说明:文中所有截图是我按原文步骤操作所截,与原文不一致。刚开始搭建hadoop集群的时候,使用的是VMware创建的虚拟机。结果卡到心态爆炸。。。 今天尝试使用Docker搭建hadoop...转载 2018-11-09 10:44:13 · 284 阅读 · 0 评论 -
【转】Hadoop学习--第二篇:史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架...转载 2018-11-12 14:19:41 · 227 阅读 · 0 评论 -
【转】Hadoop学习--第四篇:使用docker搭建hadoop分布式集群
原文:使用docker搭建hadoop分布式集群原文作者: bigdata1024原文地址:https://blog.csdn.net/xu470438000/article/details/50512442使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法只能自己写一个了。一:环境准备:1:首先要有...转载 2018-12-03 10:27:53 · 220 阅读 · 0 评论 -
Hadoop学习--第五篇:HDFS文件系统架构和操作
一、HDFS概述1.1 HDFS概念HDFS ( Hadoop Distributed File System ) ,Hadoop分布式文件系统,通过目录树(/)来定位文件。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文:http://www.open-open.com/lib/view/open1328763454608...原创 2018-12-03 16:30:56 · 258 阅读 · 0 评论 -
Hadoop学习--第七篇:初识 MapReduce
一、Mapreduce 概述1.1 Mapreduce 概念Mapreduce是一个分布式运算程序的编程框架,是用户开发"基于hadoop的数据分析应用"的核心框架。1.2 HDFS优缺点1.2.1 优点① MapReduce 易于编程。它简单的实现一些接口,就可以完成一个分布式程序。② 良好的扩展性。节点增删容易。③ 高容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到另...原创 2018-12-27 15:58:33 · 206 阅读 · 0 评论 -
Hadoop学习--第六篇:HDFS 原理
一、HDFS读取过程HDFS 读取文件步骤图:HDFS的文件读取原理,详细解析如下:首先通过调用FileSystem对象的open方法,实际上获取的是一个DistributedFileSystem的实例。DistributedFileSystem 通过 RPC(远程过程调用) 来调用 namenode,以确定文件的开头部分的 block 的 locations。对于每一 block,按...原创 2018-12-11 23:58:03 · 253 阅读 · 0 评论