![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 92
琢光.
这个作者很懒,什么都没留下…
展开
-
HDFS入门
1.分布式文件系统HDFS 认识HDFS 当单台服务器的存储容量和计算性能已经无法处理超大文时,分布式文件系统应运而生。为了存储超大文件,可以将文件切分成很多小“块”,将这些块均匀的存储在多台服务器上,然后,通过一套系统来维护这些文件数据块。当用户需要访问这些超大文件时,该系统将后台多台服务器上存储的“块”进行临时拼装,并返回给统一的客户端,用户就像操作一台计算机一样,自然地访问该超大文件。这套系统就是“分布式文件系统”。 HDFS是基于流式访问模式,为处理超大文件的需求而设计的。HDSF中存原创 2021-04-04 21:45:10 · 263 阅读 · 2 评论 -
搭建Hadoop分布式集群
搭建Hadoop分布式集群【系统配置说明】1)系统环境:CentOS-7-x86-Minimal2)集群部署:一主三从(master/slave1/slave2/slave3)3)Java环境:jdk-7u79-linux-x864)Hadoop :hadoop-2.6.2.tar.gz【配置Linux系统环境】(1)网络环境配置 1) 首先配置四台虚拟机的网络环境,设置为静态IP,IP地址分别如下: – master:192.168.216.101 – slave原创 2021-03-28 15:35:15 · 192 阅读 · 0 评论