狭义Hadoop vs 广义Hadoop?
狭义的Hadoop:
是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台;
广义的Hadoop:
指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分,
生态系统中的每一子系统只解决某一个特定的问题域(甚至可能很窄),不搞统一型的一个全能系统,而是小而精的多个小系统。
什么是HDFS?
Hadoop实现了一个分布式文件系统,简称HDFS
HDFS包含1个Master(NameNode/NN) 带N个Slaves(DataNode/DN)
1个文件会被拆分多个Block
NameNode/NN:
1.负责客户端请求的响应
2.负责元数据(文件的名称,副本系数,Block存放的DN)的管理
DataNode/DN:
1.存储用户的文件对应的数据块(Block)
2.要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况
一、安装虚拟机(这里使用的是CentOS7)
二、配置 CentOS7 配置163 yum源(详细步骤)
三、查看防火墙
sudo systemctl status firewalld
关闭防火墙
sudo systemctl disable firewalld 重启 reboot
打开防火墙
sudo systemctl enable firewalld 重启 reboot
四、安装jdk
五、复制两份linux
六、修改静态ip(三台服务器都一样操作修改)
a.查看当前ip
ifconfig
b.修改ip配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"