Hadoop环境准备

工具准备

  • VMware Workstation Pro 虚拟机
  • CentOS7 最小安装
  • jdk-8u251
  • Hadoop2.7.2

虚拟机配置

设置静态IP

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

增添或修改成下列配置

BOOTPROTO="static" #改为static 静态ip
IPADDR=192.168.23.100 #192.168.23要和虚拟机的网关前3段保持一致,第4段随意
NETMASK=255.255.255.0
GATEWAY=192.168.23.2
DNS1=192.168.23.2

网段要和虚拟机NAT设置里的网段一致

GATEWAY 和 DNS 要和 NAT 设置里的网关IP一致,NETMASK也要和 NAT 设置里的子网掩码一致
在这里插入图片描述

修改主机名

sudo vim /etc/sysconfig/network

添加如下内容

NETWORKING=yes
HOSTNAME=hadoop100 #设定的主机名

添加ip映射

sudo vim /etc/hosts

添加下列内容

192.168.23.100 hadoop100
192.168.23.101 hadoop101
192.168.23.102 hadoop102
192.168.23.103 hadoop103

物理机也要添加IP映射

同时也将上述内容添加到C:\Windows\System32\drivers\etc\hosts文件中

有权限无法修改请右键更改文件属性,修改文件所有者(具体不赘述)

关闭防火墙

防止端口无法访问,把防火墙关闭

sudo systemctl disable firewalld #永久关闭
sudo systemctl stop firewalld #暂时关闭

安装JDK和Hadoop

去官网下载相关压缩包,解压到指定目录下并添加PATH就行(具体不赘述)

更改文件所有者

为了避免文件权限问题,现在将 JDK 和 Hadoop 的所有者改为普通用户

命令

sudo chown -R whoami file #whoami 指当前登入的用户

例如

sudo chown -R whoami JDK #将JDK及其所有子文件的所有者改为当前登入用户, -R递归修改
sudo chown -R whoami Hadoop
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!为了准备Hadoop环境,您需要执行以下步骤: 1. 安装Java:Hadoop是用Java编写的,因此您需要安装Java Development Kit(JDK)。您可以从Oracle官方网站下载并安装适合您操作系统的JDK版本。 2. 下载Hadoop:您可以从Apache Hadoop官方网站下载最新的稳定版本。选择适合您操作系统的二进制版本。 3. 解压Hadoop压缩文件:将下载的Hadoop二进制文件解压到您选择的目录。 4. 配置环境变量:打开您的bash配置文件(例如.bashrc或.bash_profile)并添加以下行: ``` export HADOOP_HOME=/path/to/your/hadoop/directory export PATH=$PATH:$HADOOP_HOME/bin ``` 保存更改后,执行`source`命令以使更改生效,或者重新启动终端。 5. 配置Hadoop:进入Hadoop目录,并编辑`etc/hadoop/hadoop-env.sh`文件。设置`JAVA_HOME`为您安装的JDK路径。 6. 配置核心Hadoop文件:编辑`etc/hadoop/core-site.xml`文件,设置Hadoop的核心配置参数,如文件系统URL和Hadoop临时目录。 7. 配置HDFS:编辑`etc/hadoop/hdfs-site.xml`文件,设置HDFS相关配置参数,如副本数量和数据块大小。 8. 启动Hadoop集群:通过运行以下命令启动Hadoop集群: ``` $HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh ``` 这将启动HDFS和YARN。 这些步骤将帮助您准备Hadoop环境。请根据您的具体需求进行适当的配置和调整。祝您成功搭建Hadoop环境!如果您有任何疑问,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值