hadoop的安装与配置(完全分布式)

这篇博客详细介绍了如何在CentOS7环境下搭建完全分布式Hadoop集群,包括虚拟机安装、配置YUM源、安装JDK、设置静态IP、配置主机名、免密登录、安装Hadoop以及启动和测试Hadoop集群的全过程。
摘要由CSDN通过智能技术生成
狭义Hadoop vs 广义Hadoop?
狭义的Hadoop:

是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台;

广义的Hadoop:

指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分,
生态系统中的每一子系统只解决某一个特定的问题域(甚至可能很窄),不搞统一型的一个全能系统,而是小而精的多个小系统。

什么是HDFS?

Hadoop实现了一个分布式文件系统,简称HDFS

HDFS包含1个Master(NameNode/NN) 带N个Slaves(DataNode/DN)
1个文件会被拆分多个Block

NameNode/NN:
1.负责客户端请求的响应
2.负责元数据(文件的名称,副本系数,Block存放的DN)的管理
DataNode/DN:
1.存储用户的文件对应的数据块(Block)
2.要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况

一、安装虚拟机(这里使用的是CentOS7)

在VMware虚拟机中安装CentOS7系统

二、配置 CentOS7 配置163 yum源(详细步骤)

配置 CentOS7 配置163 yum源

三、查看防火墙
sudo systemctl status firewalld

关闭防火墙

sudo systemctl disable firewalld   重启  reboot

打开防火墙

sudo systemctl enable firewalld   重启  reboot
四、安装jdk

CentOS7下安装JDK1.8

五、复制两份linux
六、修改静态ip(三台服务器都一样操作修改)

a.查看当前ip

ifconfig

b.修改ip配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"         
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值