基于Centos8的Hadoop部署(超详细版)

CentOS 8的安装及配置

1.1 CentOS 8的安装

(1)登录https://mirrors.huaweicloud.com/centos/8/isos/x86_64/,这里选择下载CentOS-8.3.2011-x86_64-dvd1.iso。

(2)建立文件夹D:\centos8×64,作为CentOS 8的虚拟机文件存放目录。然后打开VMware Workstation Pro。单击“文件”菜单-新建虚拟机,选择“自定义(高级)”,单击下一步。

图2.2 新建虚拟机向导

(3)保持默认设置,继续单击“下一步”。

图2.3 虚拟机硬件兼容性

(4)选择“安装程序光盘映像文件(iso)”,单击“浏览”,找到CentOS8安装镜像文件CentOS-8.3.2011-x86_64-dvd1.iso,然后单击“打开”,单击“下一步”。

图2.4安装客户机操作系统

(5)输入相关信息,单击“下一步”。

​​​​​​​

图2.5 简易安装信息

(6)在“位置”处单击“浏览”,选择刚刚建立的文件夹D:\centos8×64,单击“确定”,单击“下一步”。

​​​​​​​

图2.6 命名虚拟机

(7)进入“处理器配置”界面,默认配置为1核。为了加快处理器运行速度,这里将配置改为4核,单击“下一步”。

​​​​​​​图2.7 处理器配置

(8)进入“此虚拟机的内存”界面。这里选择配置2GB内存给虚拟机使用,单击“下一步”。 ​​​​​​​

图2.8 此虚拟机的内存

(9)进入“网络类型”选择,保留“NAT”默认方式,单击“下一步”。 ​​​​​​​

图2.9 网络类型

(10)“SCSI控制器”选择默认的LSI Logic,单击“下一步”,虚拟磁盘类型也选择默认的SCSI,再继续单击“下一步”,保持默认选项“创建新虚拟机磁盘”,再继续单击“下一步。“最大磁盘大小”,保持默认单击“下一步”。 ​​​​​​​

图2.10 指定磁盘容量

(11)“指定磁盘文件”保持默认,继续单击“下一步”,提示“已准备好创建虚拟机”。单击“完成”,即可自动开启安装此虚拟机。 ​​​​​​​

图2.11 已准备好创建虚拟机

(12)使用“光标”或按“I”键,然后回车开始安装。 ​​​​​​​

图2.12 开始安装

(13)选择安装语言,这里选择“English”,单击“continue”。

​​​​​​​

图2.13 语言选择

(14)进入安装信息摘要界面,进行安装前的综合设置,当消灭掉了所有的“!”,或把所有的带有“!”的项都配置完成了,“Begin Installation”变的可用了,然后点击“Begin Installation”开始安装。安装完毕后,重启系统。 ​​​​​​​

图2.14 安装前的综合设置 ​​​​​​​

图2.15 网络设备 ​​​​​​​

图2.16基本环境与软件包选择

1.2 CentOS 8的配置

### 回答1: 基于CentOS 7的Hadoop部署可以按照以下步骤进行: 1. 安装Java环境:Hadoop需要Java环境支持,可以通过以下命令安装Java: ``` yum install java-1.8.-openjdk-devel ``` 2. 下载Hadoop:可以从官网下载最新本的Hadoop,也可以使用以下命令下载: ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz ``` 3. 解压Hadoop:使用以下命令解压Hadoop: ``` tar -zxvf hadoop-3.3.1.tar.gz ``` 4. 配置Hadoop环境变量:在/etc/profile文件中添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使环境变量生效: ``` source /etc/profile ``` 5. 配置Hadoop:进入Hadoop的conf目录,编辑以下文件: - core-site.xml:添加以下内容 ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> </configuration> ``` - hdfs-site.xml:添加以下内容 ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/hadoop/data/dfs/datanode</value> </property> </configuration> ``` - mapred-site.xml:复制一份mapred-site.xml.template并重命名为mapred-site.xml,然后添加以下内容 ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - yarn-site.xml:添加以下内容 ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 6. 格式化Hadoop文件系统:执行以下命令格式化Hadoop文件系统 ``` hdfs namenode -format ``` 7. 启动Hadoop:执行以下命令启动Hadoop ``` start-all.sh ``` 然后可以通过以下命令查看Hadoop的运行状态: ``` jps ``` 如果看到以下进程,则说明Hadoop已经成功启动: ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager Jps ``` 以上就是基于CentOS 7的Hadoop部署的步骤。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值