超详细的Hadoop环境搭建(Ubuntu18.04.2)

本文共分为三个部分

  • 第一部分:Linux环境安装

    Hadoop运行在Linux环境中,虽然借助工具也可以部署在Windows上,但是还是建议在Linux环境中进行部署,第一部分将简单介绍Linux环境的安装、配置、JDK安装

  • 第二部分:Hadoop本地模式安装

    Hadoop本地模式只能用于本地的开发和调试,如果想要快速体验一下Hadoop,本地模式是我们的不二选择

  • 第三部分:Hadoop伪分布式模式配置

    Hadoop的学习一般都在伪分布式模式下进行,之所以叫伪分布式模式是因为虽然各个模块势在各个进程中分开运行的,但是只是运行在一个操作系统中,并不是真正的分布式,我们将着重介绍这部分,并尝试敲一个简单的项目

  • 第四部分:结语和一个小项目

    一个简单的小项目,见下一篇博客

Linux环境安装

一、安装Vmware WorkStation和下载Ubuntu安装包

Vmware WorkStation的安装和一般软件的安装没有差别,一路next就可以了。同时下载好Ubuntu的安装包备用

二、虚拟网络编辑器的设置(NAT模式设置)

NAT意为网络地址转换,是在主机和虚拟机之间架设一个地址转换服务,负责外部和虚拟机之间的网络通讯转接和IP映射,我们部署Hadoop集群要求各个虚拟机有固定的IP,可以访问外网,需要进行以下配置

  1. 默认NAT设置
    在这里插入图片描述
  2. 取消DHCP服务
    默认的NAT设置是启用DHCP服务的,NAT服务会自动将IP地址分配给虚拟机,但是我们需要将各个虚拟机的IP固定下来所以取消掉这个默认设置
    在这里插入图片描述
  3. 为机器设置一个子网网段
    机器默认是192.168.136网段,我们在这里修改为192.168.79网段,将来各个虚拟机的IP就为192.168.79.***
    在这里插入图片描述
  4. 为机器设置DNS地址
    在这里插入图片描述
三、在Vmware WorkStation中安装Ubuntu
  1. 文件菜单选择新建虚拟机

  2. 选择经典类型安装

  3. 选择稍后安装操作系统

  4. 选择Linux系统,选择版本Ubuntu64位

  5. 命名虚拟机,并选择Linux系统保存在主机的哪个目录下,一个虚拟机应该独立拥有一个目录,切记不要让多个虚拟机使用同一个目录

  6. 指定磁盘容量,设置分配给此虚拟机的硬盘空间的大小,默认20GB,不变

  7. 点击完成之后,我们就已经完成了虚拟机的创建了,但是此时的虚拟机还没有操作系统,还记得我们之前下载的Ubuntu的安装包吗,到了它发挥作用的时候了

  8. 点击编辑虚拟机设置,点击DVD,指定操作系统ISO文件的位置,也就是Ubuntu安装包的位置

  9. 点击启动虚拟机,开始安装Ubuntu

  10. Ubuntu的安装步骤这里就不详细展开了,网上有许多相关的教程和解答,我们直接跳到Ubuntu的网络设置

  11. 点击有线设置
    在这里插入图片描述

  12. 点击有线网络开关右侧的齿轮图标

  13. 配置IP、子网掩码、网关和DNS,因为在之前的NAT设置中我们将网段设置为192.168.79.***,所以这里我们将IP设置为192.168.79.10,其余三项设置与NAT设置保持一致
    在这里插入图片描述

  14. 使用 ping 命令检查是否可以连接外网,如下图,连接成功

  • 1
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以按照以下步骤来搭建Hadoop集群在Ubuntu上: 1. 安装Java:Hadoop依赖于Java环境,所以首先需要安装Java。你可以使用以下命令安装OpenJDK: ``` sudo apt update sudo apt install openjdk-8-jdk ``` 2. 下载和配置Hadoop:你可以从Hadoop的官方网站下载最新版本的Hadoop。解压缩下载的文件并将其移动到所需的目录中。然后,编辑Hadoop的配置文件。打开`hadoop-env.sh`文件并设置`JAVA_HOME`变量,将其指向Java的安装目录。 3. 配置SSH:Hadoop集群需要使用无密码SSH登录到各个节点。确保所有节点上都安装了SSH,并且你可以通过SSH连接到其他节点而无需密码。你可以使用以下命令来生成SSH密钥对: ``` ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 4. 配置Hadoop集群:编辑Hadoop的核心配置文件`core-site.xml`,将以下内容添加到配置文件中: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 5. 配置HDFS:编辑Hadoop的HDFS配置文件`hdfs-site.xml`,将以下内容添加到配置文件中: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 6. 配置YARN:编辑Hadoop的YARN配置文件`yarn-site.xml`,将以下内容添加到配置文件中: ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 7. 启动Hadoop集群:首先格式化HDFS文件系统,使用以下命令: ``` hdfs namenode -format ``` 然后,启动Hadoop集群: ``` start-all.sh ``` 这样,你就成功地在Ubuntu上搭建了Hadoop集群。你可以通过访问Hadoop的Web界面来验证集群的状态。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值