![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
XQ_WYL
这个作者很懒,什么都没留下…
展开
-
大数据入门之Hadoop生态系统(2) -- HDFS概念
通过大数据入门之Hadoop生态系统(1),我们大致地了解了HDFS的概念,这里我们具体地看一下HDFS的实现原理与架构分析。 1.HDFS架构 HDFS采用的是Master/Slave架构(1个Master带多个Slave)。一个HDFS集群通常由一个Master(NameNode)和多个Slave(DataNode)构成。一个文件会被拆分成多个Block(默认每个数据块是128M),如...原创 2018-08-19 16:20:01 · 541 阅读 · 0 评论 -
大数据入门之Hadoop生态系统(3) -- Hadoop和HDFS环境搭建
1.前置要求 Windows用户:VMware虚拟机 Centos6.4。(要求主机和虚拟机能够相互通信,具体请查看网上教程) Linux、Mac用户:可以直接在本地搭建环境。 JDK1.8(具体的安装步骤,网上都有很多,注意我们所有的东西都是安装在虚拟机上的,注意配置到系统环境变量中) 2.Hadoop环境(伪分布式环境搭建)、HDFS环境搭建 下载 我们Hadoop使用的版本是:h...原创 2018-08-19 21:02:03 · 812 阅读 · 0 评论 -
大数据入门之Hadoop生态系统(4) -- HDFS shell命令以及Java API操作
1.前置要求 大数据入门之Hadoop生态系统(3) -- Hadoop和HDFS环境搭建 前面已经搭建好了Hadoop和HDFS的环境,接下来我们用shell命令对文件系统进行操作。 2.HDFS shell常用命令 常用的有:ls、mkdir、put、get、rm,和Linux的命令差不多。 我们首先启动HDFS,启动方式前面也说过了。因为我们前面已经配置了Hadoop的环境变量。所...原创 2018-08-19 22:57:46 · 361 阅读 · 0 评论