大数据
文章平均质量分 64
wuhua1024
这个作者很懒,什么都没留下…
展开
-
HDFS组成架构
hdfs是一种分布式文件系统HDFS的组成及作用HDFS主要由四部分组成:Client、NameNode、Secondary NameNode 、DataNode图片来源于官网1)client: 表示客户端功能1:进行文件的切分,当文件上传HDFS的时候,Client将文件切分成一个一个的block,然后进行上传。功能2:与NameNode进行交互,比如说当要下载一个内容的时候,client就需要从NameNode来获取到需要得到文件再DataNode当中的一个具体位置功能3:与DataNo原创 2022-05-15 23:09:29 · 1053 阅读 · 0 评论 -
Hadoop安装
headoop运行环境的搭建先创建一个模板机hadoop1000)安装模板虚拟机,IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G1)关闭防火墙,关闭防火墙开机自启[root@hadoop100 ~]# systemctl stop firewalld[root@hadoop100 ~]# systemctl disable firewalld.service2)在/opt目录下创建文件夹,并修改所属主和所属组在/opt目录下创建module、softw原创 2022-05-12 20:47:32 · 896 阅读 · 0 评论 -
Hadoop概述
Hadoop的组成Hadoop是一种大数据框架,目前有三个版本,在3.x版本当中Hadoop大致是由MapReduce、Yarn、HDFS、Common等几大块而组成的。其中三个大版本的差别如下图所示:(图片来源于网络)下面来对Hadoop的几大板块进行介绍:HDFSHDFS是指Hadoop Distributed File System的缩写,指的是分布式文件系统,HDFS主要有三个重要组成部分:NameNode(nn)、DataNode(dn)、Secondary NameNode(2n)。原创 2022-05-10 21:36:48 · 419 阅读 · 0 评论