Hadoop运行环境搭建(命令+图解)

最新推荐文章于 2024-09-30 22:24:45 发布
最新推荐文章于 2024-09-30 22:24:45 发布
阅读量1.5k 收藏 14
点赞数 5
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43362002/article/details/106316306
版权

文章目录

1.虚拟机环境准备

1.1 克隆虚拟机（一共三台）

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

1.2修改克隆虚拟机的静态IP

  1. 在终端命令窗口输入
[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules

进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址
在这里插入图片描述
2. 修改IP地址

[root@hadoop101 /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改的内容有5项：
IPADDR=192.168.152.101 （虚拟机的ip地址）
GATEWAY=192.168.152.2（网关）
ONBOOT=yes（系统启动时自动启动网卡）
BOOTPROTO=static（静态IP）
DNS1=192.168.152.2（同网关）
（1）修改前
在这里插入图片描述
（2）修改后
在这里插入图片描述:wq 保存退出

（3）执行

[root@hadoop101 /]# service network restart

在这里插入图片描述4）如果报错，reboot，重启虚拟机。

[root@hadoop101 /]# reboot

1.3修改主机名

1）修改linux的hosts文件
（1）进入Linux系统查看本机的主机名。通过hostname命令查看

hostname

在这里插入图片描述（2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件

vi /etc/sysconfig/network

文件内容
在这里插入图片描述注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
（4）保存退出。
（5）打开/etc/hosts

vim /etc/hosts

添加如下内容
ip地址 主机名
192.168.152.101 hadoop101

192.168.152.102 hadoop102

192.168.152.103 hadoop103

192.168.152.104 hadoop104

（6）并重启设备，重启后，查看主机名，已经修改成功

2）修改window10的hosts文件（暂且不要设置）
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容
192.168.152.101 hadoop101
192.168.152.102 hadoop102
192.168.152.103 hadoop103
192.168.152.104 hadoop104
192.168.152.105 hadoop105

1.4 关闭防火墙

查看防火墙开机启动状态

 service iptables status

临时关闭防火墙

 service iptables stop

查看防火墙开机启动状态

 chkconfig iptables –list

关闭防火墙开机启动

 chkconfig iptables off

开启防火墙开机启动

 chkconfig iptables on

1.5创建sparky用户

1）创建sparky用户
在root用户里面执行如下操作

useradd sparky（功能描述：添加新用户）
passwd sparky（功能描述：设置用户密码）

在这里插入图片描述2.查看用户是否存在

id sparky

1.6 配置sparky用户具有root权限

1）设置sparky用户具有root权限
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下所示：

[root@hadoop101 桌面]# vi /etc/sudoers

在这里插入图片描述看不到就按住下键找，因为下面还有内容

修改完毕，现在可以用sparky帐号登录，然后用命令 su - ，即可获得root权限进行操作。
2）在/opt目录下创建文件夹
（1）在root用户下创建module、software文件夹

[root@hadoop101 opt]# mkdir module
[root@hadoop101 opt]# mkdir software

（2）修改module、software文件夹的所有者

[root@hadoop101 opt]# chown sparky:sparky module
[root@hadoop101 opt]# chown sparky:sparky sofrware
[root@hadoop101 opt]# ls -al

在这里插入图片描述

2.安装JDK

  1. 卸载现有JDK

    （1）查询是否安装Java软件：

[sparky@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[sparky@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

[sparky@hadoop101 ~]$ which java

  1. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面，如图所示
    在这里插入图片描述alt+p进入sftp模式
    在这里插入图片描述选择jdk1.8拖入

  2. 在Linux系统下的opt目录中查看软件包是否导入成功

[sparky@hadoop101 opt]$ cd software/
[sparky@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz
  1. 解压JDK到/opt/module目录下
[sparky@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

  1. 配置JDK环境变量

     （1）先获取JDK路径

[sparky@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144


（2）打开/etc/profile文件

[sparky@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

（3）保存后退出

:wq

（4）让修改后的文件生效

[sparky@hadoop101 jdk1.8.0_144]$ source /etc/profile
  1. 测试JDK是否安装成功
[sparky@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重启（如果java -version可以用就不用重启）

[sparky@hadoop101 jdk1.8.0_144]$ sync
[sparky@hadoop101 jdk1.8.0_144]$ sudo reboot

3.安装Hadoop

  1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
    切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入
    在这里插入图片描述
  2. 进入到Hadoop安装包路径下
[sparky@hadoop101 ~]$ cd /opt/software/
  1. 解压安装文件到/opt/module下面
[sparky@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
  1. 查看是否解压成功
[sparky@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2
  1. 将Hadoop添加到环境变量
    （1）获取Hadoop安装路径
[sparky@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件

[sparky@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出 :wq
（4）让修改后的文件生效

[sparky@ hadoop101 hadoop-2.7.2]$ source /etc/profile
  1. 测试是否安装成功
[sparky@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2
  1. 重启(如果Hadoop命令不能用再重启)
[atguigu@ hadoop101 hadoop-2.7.2]$ sync
[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

Hadoop目录结构

  1. 查看Hadoop目录结构
    在这里插入图片描述
  2. 重要目录
    （1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
    （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
    （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
    （4）sbin目录：存放启动或停止Hadoop相关服务的脚本
    （5）share目录：存放Hadoop的依赖jar包、文档、和官方案例
Sparky*
关注
专栏目录
Hadoop运行环境搭建
weixin_42042774的博客
03-29 3867
分区： /boot引导用区-->1G；； swap交换区-->2G；标准分区； /根目录-->剩下的全部；标准分区；ext4 vi /etc/hostname 改hostname vi /etc/syscomfig/network-scripts/ifcfg-ens33 重启网络服务，查看网络是否改成功 systemctl restart network//重新启动 ip addr//查看ip ...
超详细单机版搭建hadoop环境图文解析
编程小栈
12-01 2258
转自：http://weixiaolu.iteye.com/blog/1401931 安装过程： 一、安装Linux操作系统 二、在Ubuntu下创建hadoop用户组和用户 三、在Ubuntu下安装JDK 四、修改机器名 五、安装ssh服务 六、建立ssh无密码登录本机 七、安装hadoop 八、在单机上运行hadoop 一、安装Linux操作系统 我们是在
环境搭建--Hadoop完全分布式
最新发布
weixin_53545333的博客
09-30 1907
Hadoop的完全分布式安装
Hadoop 之运行环境搭建
const_
08-10 600
1、虚拟机环境准备 准备三台Linux虚拟机系统 修改主机名 关闭防火墙 创建一个普通用户并具有ROOT权限 在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 $ sudo mkdir /opt/module $ sudo mkdir /opt/software （2）修改module、software文件夹的所有者 $ sudo chown nod...
hadoop运行环境搭建
yxb666888的博客
09-23 869
部署hadoop集群环境查阅了很多同仁写的资料，对我搭建成功帮助很大，因此也分享出我总结的资料，希望对新人有帮助。另外，在阅读中有不明白的请加我qq，一起探讨。
图解hadoop环境的搭建（5）
03-28
在本篇【图解Hadoop环境的搭建（5）】中，我们将深入探讨Hadoop分布式文件系统（HDFS）的安装、配置以及如何通过Shell命令进行操作。Hadoop是Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据，特别...
史上最详细的Hadoop环境搭建,从0开始，图解全部过程
yanghenpi的博客
12-11 5649
Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目...
详尽图解：Hadoop安装与环境配置教程
“Hadoop的安装与环境搭建教程图解，主要涵盖了从下载Hadoop到配置环境变量，再到集群间复制的详细步骤。” 在IT行业中，Hadoop是一个分布式计算框架，常用于处理和存储大规模数据。本教程将指导你如何在Linux环境...
Windows环境下Hadoop配置详解及步骤图解
这个教程对于Windows新手来说，提供了清晰的步骤指导，有助于他们成功搭建Hadoop在Windows环境下的集群开发环境，从而进行大数据处理和分布式计算任务。在整个过程中，文档强调了每个步骤的必要性和注意事项，确保...
Hadoop完全分布式详细安装图解教程
07-05
本教程将带你逐步了解如何在Windows 7环境下，借助虚拟机软件VMware搭建一个完整的Hadoop分布式集群。我们将深入探讨以下知识点： 1. **Hadoop概述**：Hadoop是基于Java的分布式计算框架，由Apache软件基金会开发，...
Hadoop Hadoop运行环境搭建
sjjsaaaa的博客
05-15 503
Hadoop运行环境搭建 Linux虚拟机安装请看：https://blog.csdn.net/sjjsaaaa/article/details/105756559 主机规划： 一、虚拟机环境准备 1. 克隆虚拟机 先选定要克隆的机器zaz01------菜单栏上的虚拟机------管理-------克隆 虚拟机的名字自己取，点完成即可，这样虚拟机就克隆好了。 2.修改主机名 打开虚拟机以后先root 然后执行：vi /etc/sysconfig/network 命令 将HOSTNAME=
Hadoop之运行环境搭建
Si_kenn的博客
12-15 154
5.Hadoop运行环境搭建 登录账户 关闭防火墙 修改IP 修改主机名 配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中 配置ssh免密登录 生成公钥和私钥 ssh-keygen -t rsa 将公钥拷贝到需要免密登录的服务器上 安装JDK 安装Zookeeper 安装Hadoop 配置集群 core-site.xml hadoop-env.sh hdfs-site.xml yarn-env.sh yarn-site.xml mapred-env.sh mapred-site.
Hadoop 运行环境搭建
weixin_60096751的博客
03-07 181
Hadoop 运行环境搭建模板虚拟机环境
Hadoop集群环境搭建指南
为了能够运行Hadoop命令，需要将Hadoop的安装路径添加到系统的PATH环境变量中。 以上就是搭建Hadoop环境的基本步骤，但实际操作中可能还会涉及到配置Hadoop的相关配置文件（如`core-site.xml`, `hdfs-site.xml`, `...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sparky*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值