Hadoop运行环境搭建

最新推荐文章于 2023-03-06 20:32:54 发布
最新推荐文章于 2023-03-06 20:32:54 发布
阅读量649 收藏
点赞数 1
分类专栏： Hadoop 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lslslslslss/article/details/121807878
版权

1.模板虚拟机准备

a.安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G

b.hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

（2）安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

net-tool：工具包集合，包含ifconfig等命令

[root@hadoop100 ~]# yum install -y net-tools

vim：编辑器

[root@hadoop100 ~]# yum install -y vim

一些其他工具

[root@hadoop100 ~]# yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

c.关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

d.创建atguigu用户，并修改atguigu用户的密码

[root@hadoop100 ~]# useradd atguigu
[root@hadoop100 ~]# passwd atguigu

e.配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令

[root@hadoop100 ~]# vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
atguigu   ALL=(ALL)     NOPASSWD:ALL

f.在/opt目录下创建文件夹，并修改所属主和所属组

（1）在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为atguigu用户

[root@hadoop100 ~]# chown atguigu:atguigu /opt/module 
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software

（3）查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll

g.卸载虚拟机​自带的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

Ø rpm -qa：查询所安装的所有rpm软件包

Ø grep -i：忽略大小写

Ø xargs -n1：表示每次只传递一个参数

Ø rpm -e –nodeps：强制卸载软件

h.重启虚拟机

[root@hadoop100 ~]# reboot

二、克隆虚拟机

1.利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104

2.修改克隆机IP，以下以hadoop102举例说明

（1）修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改为

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

（3）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

（4）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

3.修改克隆机主机名，以下以hadoop102举例说明

（1）修改主机名称

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

4.重启克隆机hadoop102

[root@hadoop100 ~]# reboot

5.修改windows的主机映射文件（hosts文件）

（1）如果操作系统是window7，可以直接修改

a.进入C:\Windows\System32\drivers\etc路径

b.打开hosts文件并添加如下内容，然后保存

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

a.进入C:\Windows\System32\drivers\etc路径

b.拷贝hosts文件到桌面

c.打开桌面hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

d.将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

3.在hadoop102安装JDK和Hadoop

a.卸载现有JDK和Hadoop

b.用XShell传输工具将JDK和HADOOP导入到opt目录下面的software文件夹下面

c.在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz
hadoop-3.1.3.tar.gz

d.解压安装文件到/opt/module下面

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

e.查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/

f.添加到环境变量

（1）获取Hadoop安装路径

[atguigu@hadoop102 hadoop-3.1.3]$ pwd

（2）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）让修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

g.测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
[atguigu@hadoop102 ~]$ java -version

h.如果第g步不显示版本号则重启

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

五、Hadoop目录结构

1.查看Hadoop目录结构

[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

2.重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

勤奋的ls丶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
prometheus +granfana监控告警
qq_42554735的博客
11-30 2770
编号 hostname hostIP 安装包 1 prometheus 192.168.10.102 prometheus-2.23.0.linux-amd64.tar.gz (github.com) 2 agent 192.168.10.103 node_exporter-1.0.1.linux-amd64.tar.gz (github.com) 3 grafana 192.168.10.104 https://dl.grafana.com/oss/release/grafana-...
2024年最新Hadoop 运行环境搭建--初学者版本，2024年最新覆盖所有面试知识点
2401_84615813的博客
05-05 887
ola这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了ola密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。利用模板机hadoop100，克隆3台虚拟机：hadoop102 hadoop103 hadoop104 ，克隆时，要先关闭hadoop100。，其中GATEWAY、DNS、BOOTPROTO不需要改，更改IPADDR即可，其中IPADDR网段不变，将地址改一下，比如102。在software文件夹下，解压 JDK 到/opt/module 目录下。
Hadoop的环境搭建——环境搭建前准备
m0_62457909的博客
11-24 926
Hadoop的环境搭建(分布式集群)——环境搭建前准备
Linux ARP代理 与 NAT
tycoon的专栏
11-04 2453
Linux系统缺省并没有打开IP转发功能，要确认IP转发功能的状态，可以查看/proc文件系统，使用下面命令： cat /proc/sys/net/ipv4/ip_forward 如果上述文件中的值为0,说明禁止进行IP转发；如果是1,则说明IP转发功能已经打开。 要想打开IP转发功能，可以直接修改上述文件： echo 1 > /proc/sys/net/ipv4/ip_forwa
Hadoop环境搭建
jerry的博客
01-20 1153
视频资料 相关资料百度网盘地址：地址，提取码：5h60 搭建模板虚拟机 原因 搭建好模板虚拟机之后，后续若想继续增加服务器，不需要每次都安装操作系统和其他配置，只需要拷贝就可以了 配置项 内存：4g/8g 硬盘：至少50G ip：后面增加服务器的时候不能直接拷贝，需要修改 主机名称：后面增加服务器的时候不能直接拷贝，需要做修改 vmware安装 下载方法1（下载特定版本）： 打开链接 官方网址 选择适当的版本之后转至下载 下载方法2（下载最新版本）： 安装教.
hadoop运行环境搭建
04-01
一.hadoop运行环境搭建（集群）
详解Hadoop 运行环境搭建过程
10-16
主要介绍了Hadoop 运行环境搭建过程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
6-大数据技术之Hadoop运行环境搭建（重点）
12-15
6_大数据技术之Hadoop运行环境搭建（重点）
3_尚硅谷大数据之Hadoop运行环境搭建1
08-04
（2）修改 module、software 文件夹的所有者 （1）查询是否安装 java 软件： （2）如果安装的版本低于 1.7，卸载该 jdk： （1）先获
Hadoop集群环境搭建
06-15
Hadoop集群环境搭建 Hadoop集群环境搭建是大数据处理的核心组件之一，本文将详细介绍Hadoop集群环境的搭建过程，包括集群规划、前置条件、免密登录、集群搭建、提交服务到集群等几个方面。 集群规划 在搭建Hadoop...
windows hadoop2.7.5版本运行环境
04-03
欢迎大家前来下载
Hadoop 运行环境搭建（开发重点）
m0_72168501的博客
03-06 2250
Hadoop 运行环境搭建
openEuler 22.09环境二进制安装Kubernetes（k8s） v1.26
u013007181的博客
02-28 1万+
openEuler 22.09环境二进制安装Kubernetes（k8s） v1.26
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1688
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop之环境配置
m0_51984816的博客
03-02 4203
面对学校课程要求学生搭建自己的伪分布式模式，所面临的各种坑，亲自踩坑。 1. 安装环境ubuntu 2.安装jdk 3.安装Hadoop 1.在安装ubuntu时需要注意安装ubuntu创建用户，等待时间比较长，大家需要有点耐心。 2.安装jdk时需要注意jdk的版本号，最好去官网下载18的版本带有linux的标识，配置环境时：注意：export后加上的是你电脑上jdk的实际路径，不要完全按照你的教课书，因为不完全与你的电脑一致，不要照抄啊！！！ 这样的话java -version的版本号就会显示成功。 3
hadoop104: Warning: Permanently added hadoop104,192.168.10.104 (ECDSA) to the list of known hosts.
qq_56572867的博客
06-19 1747
解决hadoop104: Warning: Permanently added hadoop104,192.168.10.104 (ECDSA) to the list of known hosts.
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
hadoop开发环境搭建
最新发布
05-11
1. 安装Java：Hadoop是用Java编写的，因此首先需要安装Java运行环境。 2. 下载Hadoop：从官网下载Hadoop安装包。 3. 配置Hadoop：将Hadoop解压到指定目录，然后进行配置。主要包括core-site.xml、hdfs-site.xml、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值