Mac OS X 系统 linux centos 7 中搭建hadoop-3.1.2 集群服务

最新推荐文章于 2022-10-12 21:34:19 发布
最新推荐文章于 2022-10-12 21:34:19 发布
阅读量892 收藏 2
点赞数
文章标签： hadoop-3.1.2 Mac OS X
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CHL123456789/article/details/88659568
版权

Hoadoop 虚拟机环境搭建 vm 11.2   、liunx 版本 centos 7、jdk 版本1.8 、操作系统 mac 

 

一、 liunx虚拟安装好，之后需要配置网络环境，使用root用户进行设置

1、编辑network文件，讲HOSTNAME值修改为新的主机名，具体操作如下：

 su -l  root

 

vi /etc/sysconfig/network

 

改写成

 

HOSTNAME = Master001

 

2、设置静态ip，通过编辑ifcfg-ens33文件，设置IP地址：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改：

BOOTPROTO=“static”

ONBOOT = “yes”

添加：

IPADDR=192.168.239.101

NETMASK=255.255.255.0

GATEWAY=192.168.239.2

DNS1=192.168.239.2

DNS2=114.114.114.114

具体如下图所示：

3、设置resolv.conf,具体操作如下：

vi /etc/resolv.conf

添加：

nameserver 192.168.239.2

nameserver 114.114.114.114

如下图所示：

 

4、设置hosts，具体操作如下：

vi  /etc/hosts

添加：

192.168.239.101  Master001

192.168.239.201 Slave001

192.168.239.202  Slave002

如下图所示：

5、使设置生效，如下操作：

service network restart

6、从新启动虚拟机：reboot

 

7、启动成功，验证设置是否成功：

[root@localhost ~] 变成了[root@Master001 ~]

 

8、ifconfig 查看网络，如下图所示：

 

9、验证外网是否联通：ping  www.baidu.com,如下图所示，表示成功

 

 

 

二、liunx 创建用户

1、创建hadoop普通用户：adduser  hadoop，如下图所示：

2、给hadoop用户指定密码（liuhongchun）：password，如下图所示：

3、验证用户是否创建成功：切换到hadoop用户下：su -l  hadoop

三、安装jdk

1、查看系统原来的jdk，卸载原来的jdk，

rpm -qa | grep jdk #查看原有的JDK

rpm -e --nodeps java-XXX #卸载JDK

2、官网下载jdk-8u201-linux-x64.tar.gz，

解压 tar -zxvf jdk-8u201-linux-x64.tar.gz

设置环境变量，vim /etc/profile

 

export JAVA_HOME=/opt/rh/jdk1.8.0_201

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

 

使环境变量生效 source /etc/profile

检验JAVA安装 java -version

3、关闭防火墙

systemctl start firewalld #启动防火墙

systemctl stop firewalld #关闭防火墙

systemctl disable firewalld #开机禁用

systemctl enable firewalld #开机启用

 

4、配置ssh免密登录，切换到 su -l hadop 账户下

(1)、生成密钥 ：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

(2)、对所有节点进行免密：

ssh-copy-id Master001

ssh-copy-id Slave001

ssh-copy-id Slave002

 

5、安装hadoop 版本 hadoop-3.1.2

 官网下载：hadoop-3.1.2.tar.gz

 解压：tar -zxvf  hadoop-3.1.2.tar.gz  到 /opt/rh/目录中 

 

创建下面tmp、hdfs、hdfs/data、hdfs/name 文件夹，创建操作如下：

[root@Master001 hadoop-3.1.2]# mkdir /opt/rh/hadoop-3.1.2/tmp

[root@Master001 hadoop-3.1.2]# mkdir /opt/rh/hadoop-3.1.2/hdfs

[root@Master001 hadoop-3.1.2]# mkdir /opt/rh/hadoop-3.1.2/hdfs/data

[root@Master001 hadoop-3.1.2]# mkdir /opt/rh/hadoop-3.1.2/hdfs/name

 

设置环境变量 切换到su -l  root

打开 vi  /etc/profile

将如下：hadoop 目录对应如下环境配置到文件中

export HADOOP_HOME="/opt/rh/hadoop-3.1.2"

export PATH="$HADOOP_HOME/bin:$PATH"

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

 

配置完成后执行 source /etc/profile  然后环境变量生效

 

 

6、分别配置hadoop 目下/opt/rh/hadoop-3.1.2/几个文件

(1)、配置 vi /opt/rh/hadoop-3.1.2/etc/hadoop/hadoop-env.sh  文件，增加jdk

查看jdk路径： echo $JAVA_HOME 如下图

export JAVA_HOME=/opt/rh/jdk1.8.0_201 #配置自己的jdk路径

 

(2)、配置 vi /opt/rh/hadoop-3.1.2/etc/hadoop/core-site.xml 文件

 

 <!-- 指定HDFS（namenode）的通信地址 默认8020端口 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://Master001:8020/</value>

    </property>

    <!-- 指定hadoop运行时产生文件的存储路径 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/rh/hadoop-3.1.2/tmp</value>

    </property>

 如图所示：

（3）、配置vi /opt/rh/hadoop-3.1.2/etc/hadoop/hdfs-site.xml 文件

 <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/rh/hadoop-3.1.2/data/tmp</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/rh/hadoop-3.1.2/tmp/data/data</value>

    </property>

 

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

 

    <property>

       <name>dfs.http.address</name>

       <value>0.0.0.0:50070</value>

    </property>

 

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

 

如图 所示：

 

（4）、分别配置在 vi /opt/rh/hadoop-3.1.2/sbin/start-dfs.sh 和 vi /opt/rh/hadoop-3.1.2/sbin/stop-dfs.sh 文件

中头部添加如下：

HDFS_DATANODE_USER=root  

HDFS_DATANODE_SECURE_USER=hdfs  

HDFS_NAMENODE_USER=root  

HDFS_SECONDARYNAMENODE_USER=root 

 

   (5）、分别配置在 vi /opt/rh/hadoop-3.1.2/sbin/start-yarn.sh 和 vi /opt/rh/hadoop-3.1.2/sbin/stop-yarn.sh 文件

中头部添加如下：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

 

(6)、配置vi /opt/rh/hadoop-3.1.2/etc/hadoop/mapred-site.xml 文件

<!-- 通知框架MR使用YARN -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>Master001:10020</value>

</property>

 

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>Master001:19888</value>

</property>

 

<property>  

    <name>mapreduce.map.memory.mb</name>  

    <value>5120</value>  

</property>  

 

<property>  

    <name>mapreduce.reduce.input.buffer.percent</name>  

    <value>0.5</value>  

</property>  

 

 <property>  

   <name>mapreduce.reduce.memory.mb</name>  

   <value>2048</value>  

 </property> 

如图所示：

（7）、配置/opt/rh/hadoop-3.1.2/etc/hadoop/yarn-site.xml文件

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

<property>

        <name>yarn.application.classpath</name>

        <value>/opt/rh/hadoop-3.1.2/etc/hadoop:/opt/rh/hadoop-3.1.2/share/hadoop/common/lib/*:/opt/rh/hadoop-3.1.2/share/hadoop/common/*:/opt/rh/hadoop-3.1.2/share/hadoop/hdfs:/opt/rh/hadoop-3.1.2/share/hadoop/hdfs/lib/*:/opt/rh/hadoop-3.1.2/share/hadoop/hdfs/*:/opt/rh/hadoop-3.1.2/share/hadoop/mapreduce/lib/*:/opt/rh/hadoop-3.1.2/share/hadoop/mapreduce/*:/opt/rh/hadoop-3.1.2/share/hadoop/yarn:/opt/rh/hadoop-3.1.2/share/hadoop/yarn/lib/*:/opt/rh/hadoop-3.1.2/share/hadoop/yarn/*</value>

    </property>

如图所示:

注意如上图中 classpath，用hadoop classpath获取自己的环境的 classpath目录

编辑yarn-site.xml 

 

添加如下内容

 

<configuration>

    <property>

        <name>yarn.application.classpath</name>

        <value>输入刚才返回的Hadoop classpath路径</value>

    </property>

 

(8)、分别将/opt/rh/hadoop-3.1.2 复制到其他服务器：

 

scp -r opt/rh/hadoop-3.1.2  root@192.168.239.201:opt/rh/hadoop-3.1.2

scp -r opt/rh/hadoop-3.1.2  root@192.168.239.201:opt/rh/hadoop-3.1.2

 

 

(9)、配置以上这些之后启动

（1）第一次启动hdfs需要格式化，之后启动就不需要的：

先切换到 cd /opt/rh/hadoop-3.1.2目录，在执行./bin/hdfs namenode -format

格式化完成之后在执行启动命令/opt/rh/hadoop-3.1.2/sbin/start-all.sh

 

启动完成之后分别查看三台机器：

 

root@Master001 执行jps

root@Slave001 执行jps

root@Slave002 执行jps

 

如以上所示，表示hadoop搭建成功。

 

systemctl stop firewalld #关闭防火墙

 

访问如下web界面，看到

http://192.168.239.101:50070/dfshealth.html#tab-overview

http://192.168.239.101:8088/cluster

 

 

CHL123456789
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Mac系统centos中搭建Hadoop
qq_43551332的博客
09-15 423
链接:https://pan.baidu.com/s/1v0_ztcucI0Pb0HlkBPcJjg 密码:6kzb 大家好，最近在学习hadoop，因此随手就把关于搭建Hadoop的方法教给大家，如果有不对的地方希望大佬指出，如果有不明白的地方我会尽量帮大家解决，这是我第一篇博客希望大家多多支持。 首先我自己是mac系统，刚开始以为就正常跟老师一起搭建就没什么问题结果过程真是一波三折，班里也...
hadoop3.1.2 配置 3台 全分布
qq_41045774的博客
06-28 1518
vim etc/hadoop/core-site.xml <configuration> <!-- master主机名 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </prop...
Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3
挖掘机炒菜的专栏
03-04 503
一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备 首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置： 上传文件命令 ：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/ 文件的目录结构： ...
Mac系统下，Hadoop集群的搭建
Rain的博客
03-12 5563
- 环境 主节点操作系统：macOS High Sierra 10.13.3 虚拟机软件：Parallels Desktop 从节点操作系统：Centos7 Centos7 jdk版本：1.8.0_144 Mac jdk版本：1.8.0_171 Hadoop版本：Hadoop 2.8.1 本文是在Mac上创建两个虚拟机，两个虚拟机和Mac主机组成三个节点，主节点为Mac，两个从节点为cento...
Hadoop安装（vmfusion for mac、centos7）
有关我的科研的足迹、算法竞赛的日子、生活记录。
10-11 1992
实验步骤 本实验将利用vmfusion centos7，在宿主机mac中搭建hadoop集群。集群包含1个master节点、3个slave节点。 一、配置网络环境 配置虚拟机网卡 我使用的是vmfusion for mac 查看/Library/Preferences/VMware Fusion/vmnet8/dhcpd.conf文件。 或者是nat.conf文件，配置vm为静态分配ip的是这个文件。修改vmfusion为静态分配路由的方式是修改/Library/Preferences/VMwar
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建（仅供参考）
05-03
根据提供的文件信息，本文将详细解析CentOS 7环境下Java 8、MySQL 8.0、Hadoop 3.2.4集群以及Hive 3.1.2的搭建过程。这一系列操作对于构建大数据处理平台至关重要。 ### 1. VMware虚拟机软件简介 - **概述**： - ...
apache-hive-3.1.2.zip
05-16
由于Hive依赖于Java运行环境和Hadoop集群，因此在CentOS上部署Hive需要确保系统已经安装了JDK和配置了Hadoop的环境变量。 在解压"apache-hive-3.1.2"后，你将得到Hive的完整源代码和二进制文件。这通常包括bin目录...
hadoop3.1.2 centos7
最新发布
05-21
这个压缩包文件“hadoop3.1.2 centos7”显然是为在CentOS 7操作系统上部署Hadoop 3.1.2版本而准备的。下面将详细介绍Hadoop、其3.1.2版本的特点以及在CentOS 7上的安装和配置步骤。 Hadoop是由Apache软件基金会开发...
在本机搭建hadoop3.1.2开发环境详解
03-28
在本教程中，我们将使用VMware Workstation来搭建Linux CentOS 7虚拟机环境。首先确保你已经在物理机器上安装了VMware Workstation软件。 **安装路径:** `E:\vmwar_work_station` 理由: 这个盘的剩余空间较大，...
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
hadoop3.1.2@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
hadoop-3.1.2安装包
04-04
这个对应的是给技术文章《Hadoop3伪分布式安装》上面需要的下载资源 https://blog.csdn.net/qq_25615395/article/details/89018823
Mac m1 max+VMware+CentOS8学习Hadoop——（二）Hadoop集群搭建
weixin_44847813的博客
07-27 1179
以此记录自己使用Mac学习hadoop的心酸过程。网上有很多零零散散的教程，遇到的问题各不相同，希望我也能为大家提供一点帮助。
超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置
热门推荐
caojianhua2018的博客
08-12 1万+
Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。 目录 （1）软件准备 （2）Centos安装及网络配置​ （3）JDK安装配置 （4）Hadoop单机安装及配置 （5）Hadoop伪分布配置 （6）启动HADOOP及伪分布式测试 ...
Hadoop3.1.2 集群完全分布式安装（★★★）
哈
10-19 828
Hadoop集群环境搭建 说明 软件版本： CentOS 7 Hadoop 2.9.1 配置说明 主机名称 xmaster xslave1 xslave2 IP地址 172.16.85.150 172.16.85.151 172.16.85.152 角色 master slave slave host xmaster xslave1 xslave2 Na...
macOS系统在Linux虚拟机中部署Hadoop
cx_zhang的博客
10-12 930
最近在学习Hadoop，但是上来就遇到了一个问题。课上老师部署的演示实例使用的是vmware workshop + winscp + xshell的解决方案，但是很不巧的，以上的大部分甚至全部文件在macOS下均无法使用，导致我自己下来做的时候遭遇了许多困难，现记录如下，给自己留个备份，也供大家参考。我们此次的要求是1个master和3个slave。使用的机器是MacBook Pro，Intel CPU，系统是macOS Monterey。
Hadoop 3.1.2 踩坑入门
qq_37293230的博客
04-10 1655
使用hadoop3.1.5，centOS 7，以及jdk8作为实验环境。 完成hadoop，三个模块，安装，调试，以及简单实验。此文章最后将分析一段日志里面的单词的出现个数，作为实验的最终目的。 1.hdfs(Hadoop Distributed File System)（其实就是一个文件系统，理解成存放数据的大硬盘） 2.yarn(Yet Another Resource Negotiat...
Hadoop3.1.2安装文档
大唐帝国—前营
04-24 1883
目前大数据课程中的Hadoop版本由2.9.2升级到3.1.2，Hadoop 3.1.2的集群搭建过程与2.9.2相比有些不同，其详细安装步骤如下所述。
centos7搭建hadoop-3.3.0集群手记
06-28
很高兴为您提供CentOS 7搭建Hadoop 3.3.集群的手记。 1. 安装Java 首先，需要安装Java。可以使用以下命令安装OpenJDK 8： sudo yum install java-1.8.-openjdk-devel 2. 下载Hadoop 下载Hadoop 3.3.版本，并将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值