Hadoop环境搭建

于 2024-05-11 19:57:09 发布
阅读量1.3k 收藏 26
点赞数 57
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70601857/article/details/138727509
版权

Hadoop大数据
Hadoop环境搭建
一、基本配置
二、任务部署
三、Hadoop搭建的安装包
四、知识讲解
简单说明：
VMware版本：
linux版本：
1、linux系统的安装：
1、安装VMware
2、linux虚拟机配置ios
3、linux虚拟机设置网络配置
4、克隆虚拟机
5、克隆机更改ip地址
2、安装大数据集群环境基本配置
1、三台虚拟机关闭防火墙
2、三台虚拟机更改主机名
3、三台虚拟机更改主机名与ip映射地址
4、三台虚拟机添加普通用户
5、三台虚拟机为普通用户添加sudo权限
6、三台虚拟机在根目录统一目录
7、三台虚拟机普通用户免密登录
8、通过Xftp传输hadoop、jdk软件包
9、三台虚拟机安装jdk
3、hadoop集群的安装
1、上传压缩包并解压
2、修改hadoop配置文件
修改core-site.xml
修改hdfs-site.xml
修改mapred-site.xml
修改yarn-site.xml
修改workers文件
Xftp覆盖配置文件
分发rsync
4、Hadoop集群环境启动
Hadoop环境搭建
一、基本配置
1、首先需要的环境：Centos7-版本不限，克隆三台配置好的机子、hadoop、jdk安装包、Xftp软件（缺一不可）

二、任务部署
1、安装VMware虚拟机
2、安装Centos7版本的虚拟机
3、准备3台配置完毕的虚拟机
4、搭建3台节点的Hadoop集群              

三、Hadoop搭建的安装包

四、知识讲解

VMware版本：
VMware建议使用博主给的安装包里面都有
关于VMware的安装，我已经把安装包放在了链接大家自取就行，里面是包含了VMware版本密钥的
linux版本：
linux版本我就直接放这大家自取就行
链接: http://mirrors.aliyun.com/centos/7/isos/x86_64/

1、linux系统的安装：
1、安装VMware

vmware安装链接: https://blog.csdn.net/Alger_/article/details/111193639

  • 配置
  • 处理器数量：1
  • 处理器的内核数量2
  • 网络配置：NAT
  • 虚拟机的内存：4096（4GB）
  • 磁盘容量：40，将虚拟机磁盘存储为单个文件
  • 软件安装：最小安装，除智能卡取消其他全选
  • KDUMP：取消勾选
  • Root密码：123123
2、linux虚拟机配置ios

1：通过设置来配置ios镜像

3、linux虚拟机设置网络配置

1.设置虚拟机的虚拟网络配置

2、查看NAT的默认网关、ip地址以及子网掩码

3、设置windwos的VMNet8网络地址

4、linux设置网络配置

  • 网络配置文件
  • vim /etc/sysconfig/network-scripts/ifcfg-ens33

    添加网络必备

  • IPADDR=192.168.253.100 IP地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.253.1 网关
DNS1=8.8.8.8 DNS解析

    编辑静态IP和开机自启

    BOOTPROTO=static
NOBOOT=yes

    重启网络服务

    systemctl restart network

    安装vim和常用软件

    yum -y install vim
yum -y install net-tools
    4、克隆虚拟机
  • 反复创建虚拟机很难受，直接克隆最干脆
  • 克隆搭建好的虚拟机的快照即可
  • 反复克隆出三台机子就够用了

  • 5、克隆机更改ip地址
    三台克隆机ip地址分别为：192.168.253.101、192.168.253.102、192.168.253.103
    名称分别为：hadoop101、hadoop102、hadoop103
    因克隆的虚拟机ip地址都相同，更改ip地址即可，其他可不要更改
    启动虚拟机，用户为root，密码为123123
    更改ip地址配置文件
    hadoop101

    vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=192.168.253.101 IP地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.253.1 网关
DNS1=8.8.8.8 DNS解析

    hadoop102

    IPADDR=192.168.253.102 IP地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.253.1 网关
DNS1=8.8.8.8 DNS解析

    hadoop103

    IPADDR=192.168.253.103 IP地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.253.1 网关
DNS1=8.8.8.8 DNS解析
    2、安装大数据集群环境基本配置
    1、三台虚拟机关闭防火墙
    systemctl status firewalld
若呈现绿色字样及未关闭
若现呈黑色字样及为关闭
systemctl stop firewalld
systemctl disable firewalld
    2、三台虚拟机更改主机名
    vim /etc/hostname

    克隆机1

  • hadoop101

    克隆机2

    hadoop102

    克隆机3

  • hadoop103

    3、三台虚拟机更改主机名与ip映射地址
    vim /etc/hosts
    192.168.253.100 hadoop-base
192.168.253.101 hadoop101
192.168.253.102 hadoop102
192.168.253.103 hadoop103
192.168.253.104 hadoop104
192.168.253.105 hadoop105
    4、三台虚拟机添加普通用户
  • 三台虚拟机统一添加普通用户user001，并给予sudo权限，用于以后所有的大数据安装（避免root执行危险的操作）
  • 普通用户密码为123123 
    useradd user001
passwd user001
    5、三台虚拟机为普通用户添加sudo权限

    vim /etc/sudoers
    添加如下内容
    user001 ALL=ALL(ALL) NOPASSWD:ALL

    6、三台虚拟机在根目录统一目录
    三台克隆机在根目录下创建bigdata目录—project、software
    目录权限更改为user001

    chown user001：user001 project/ software/

    三台克隆机通过su命令切换user001用户

    su user001
    123123

    7、三台虚拟机普通用户免密登录
    先重启三台虚拟机使主机名生效
    重启命令：reboot
    ssh免密登录方式

  • hadoop101:
    ssh-keygen
    ssh-copy-id hadoop102
    ssh-copy-id hadoop103
    ssh-copy-id hadoop101
    hadoop102:
    ssh-keygen
    ssh-copy-id hadoop101
    ssh-copy-id hadoop103
    ssh-copy-id hadoop102
    hadoop103:
    ssh-keygen
    ssh-copy-id hadoop101
    ssh-copy-id hadoop102
    ssh-copy-id hadoop103

  • 8、通过Xftp传输hadoop、jdk软件包
  • 使用方法

  • 9、三台虚拟机安装jdk
    使用user001来重新连接三台机器，使用user001来安装jdk软件
    上传压缩包到第一台服务器的/bigdata/project/下面，进行解压，配置环境变量即可，三台都依次安装即可
    cd //bigdata/project
    cd …
    cd /software
    ll:tarX2(hadoop\jak)
    tar -zxvf jdk----------------------.tar.gz -C /bigdata/project
    tar -zxvf hadoop-------------------.tar.gz -C /bigdata/project
    cd /project
    mv hadoop---- /hadoop
    mv jdk------- /jdk

  • 配置jdk和hadoop环境变量
    sudo vim /etc/profile.d/my_env.sh
    内容：
    JAVA_HOME
    export JAVA_HOME=/bigdata/project/jdk
    export PATH=P A T H : PATH:PATH:JAVA_HOME/bin
    HADOOP_HOME
    export HADOOP_HOME=/bigdata/project/hadoop
    export PATH=P A T H : PATH:PATH:HADOOP_HOME/bin
    export PATH=P A T H : PATH:PATH:HADOOP_HOME/sbin

  • source /etc/profile 更新源

  • 建议三台克隆机都拍个快照

  • 3、hadoop集群的安装
    1、上传压缩包并解压
    cd //bigdata/software
    tar -zxvf hadoop-------------------.tar.gz -C /bigdata/project

    2、修改hadoop配置文件
    修改core-site.xml
    第一台克隆机执行以下命令
    vim core-site.xml

    core-site.xml:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- 指定NameNode的地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:8020</value>
  </property>

  <!-- 指定hadoop数据的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/bigdata/project/hadoop/data</value>
  </property>
  
</configuration>
    修改hdfs-site.xml
  • 第一台克隆机执行以下命令

  • vim hdfs-site.xml

    hdfs-site.xml:
<?xml version="1.0" encoding="UTF-8"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
       <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
    <!-- 2nn wen段访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:9868</value>
    </property>
</configuration>
    修改mapred-site.xml
  • 第一台克隆机执行以下命令

  • vim mapred-site.xml

    mapred-site.xml:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
    修改yarn-site.xml

    第一台克隆机执行以下命令

    vim yarn-site.xml

    yarn-site.xml:
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
      <name>yarn.nodemanager.env-whitelist</name>
<value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
</value>
    </property>
</configuration>
    修改workers文件

    第一台克隆机执行以下命令

    vim workers

    替换

    hadoop101
    hadoop102
    hadoop103

    Xftp覆盖配置文件

    把core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这四个配置文件通过xftp覆盖到/bigdata/project/hadoop/etc/hadoop/下面

  • 分发rsync

    分发101配置文件给102和103的克隆机
    hint:前提是要在/bigdata/project/Hadoop/etc/hadoop目录下

    rsync -a -v ./ hadoop102:/bigdata/project/hadoop/etc/hadoop
rsync -a -v ./ hadoop103:/bigdata/project/hadoop/etc/hadoop

    执行完之后在/bigdata/project/hadoop目录执行

    hdfs namenode -format （对namenode进行格式化）=（对hdfs文件系统格式化）

    没有报错则格式成功

  • 4、Hadoop集群环境启动
    101克隆机：hadoop的根目录下执行：sbin/start-dfs.sh 启动hdfs

    102克隆机：hadoop的根目录下执行：sbin/start-yarn.sh 启动yarn

    在浏览器上访问：

    hadoop101:9870或ip+:9870

    hadoop102:8088或ip+:8088

    关闭服务

    hadoop根目录下执行：stop-dfs.sh

    hadoop根目录下执行：stop-yarn.sh

对你的好忘了吗
关注
  • 57
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop环境搭建
05-21
Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础，涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中，我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...
hadoop环境搭建资源
08-30
本资源包含Hadoop环境搭建所需的关键组件，主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本，它支持HDFS（Hadoop Distributed File System）和...
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 8127
HADOOP环境搭建过程详解
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop环境搭建（全网最详细，保姆级教程）
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4538
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
hadoop环境搭建.docx
07-29
4. 配置Hadoop环境是关键步骤，主要涉及以下几个文件： - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量，如`JAVA_HOME`，应确保指向正确的JDK安装路径，例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...
hadoop环境搭建.jpg
最新发布
05-15
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它允许用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop充分利用集群的威力进行高速运算和存储，其核心设计包括HDFS（Hadoop Distributed File ...
Hadoop环境搭建过程中遇到的问题及解决方法
10-16
在搭建Hadoop环境的过程中，经常会遇到一些挑战，...通过以上步骤，可以有效解决Hadoop环境搭建过程中的常见问题，实现集群的顺利运行。同时，定期更新和维护环境，学习新的最佳实践，也是确保Hadoop环境稳定的关键。
Hadoop环境搭建.pdf
10-11
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
Hadoop环境搭建笔记
01-07
声明：个人笔记，我自己看的不想看勿喷 配置jdk 在根目录opt文件夹下创建两个文件夹：module和software（命令：...配置环境变量： sudo vi /etc/profile 在最后面添加 ##JAVA_HOME //JAVA环境变量 export JAVA_HOM
大数据基础——Hadoop大数据平台搭建
weixin_52610848的博客
01-27 6648
文章目录前言Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结 此文章摘自充电了么创始人，CEO兼CTO陈敬雷先生的新书《分布式机器学习实战》（人工智能科学与技术丛书）。更多内容请关注充电了么APP，更多实用技能和理论知识都可以在这里找到！
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
hadoop的搭建教程
qq_58105740的博客
09-08 1230
hadoop搭建教程（完全分布式）
从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）
小唐同学超级呆的博客
10-06 3万+
写了近一万字，所有的步骤基本都有图，Vmware、centos、jdk、Hadoop以及需要用到的工具里面全有。小唐初学Hadoop学了一个月，也配置了一个月，基本上所有可以踩的坑和不可以踩的都遇到了，当自己配置完成之后，又去重新配置了一遍，已经实现了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值