虚拟机配置及Hadoop

最新推荐文章于 2024-06-22 20:50:39 发布
最新推荐文章于 2024-06-22 20:50:39 发布
阅读量780 收藏 7
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51632264/article/details/109127788
版权

虚拟机配置及Hadoop

1.1 安装CentOS系统

注：本文使用VMware进行配置，系统为CentOS7

1.2 网络连接介绍

  1. 桥接模式：虚拟机和物理机连的是同一个网络，虚拟机和物理机是并列关系，地位是相当的。无论是虚拟系统还是真实系统，只要在同一个网段下，相互之间就能ping通。
  2. NAT模式：物理机会充当一个“路由器”的角色，虚拟机要想上网，必须经过物理机，那物理机如果不能上网，虚拟机也就不能上网了。不需要进行任何其他的配置，只需要物理机能访问互联网即可。虚拟系统只能和设置虚拟机的主机之间双向访问，无法访问同一网段下其他真实主机。
  3. 仅主机模式：相当于拿一根网线直连了物理机和虚拟机。所有的虚拟系统是可以相互通信的，但虚拟系统和真实的网络是被隔离开。

1.3 虚拟机网络配置

  1. 在VMware中打开虚拟网络编辑器，选择VMnet(NAT)模式，点击NAT设置，配置网关地址(可选择默认配置)。

  2. 打开控制面板，网络中心，更改适配器，打开VMnet8的属性，配置TCP/IPv4属性。

  3. 网关地址与VMWare一致，不要配置已被占用的ip地址。

  4. 登录CentOS系统，进入etc/sysconfig/network-scripts中，编辑NAT网卡配置文件。

    vi ifcfg-ens33

  5. 配置以下变量

    BOOTPROTO=static            #关闭DHCP，可以不做，不影响
ONBOOT = yes 		        #开机启动
IPADDR = 192.168.91.10      #该虚拟机的ip地址
GATEWAY=192.168.91.2        #网关地址 
DNS1 = 192.168.91.2         #DNS可根据自己网络进行配置

1.4 重启网卡，网络配置生效

   service network restart
或  
   systemctl restart network

1.5 网络验证

CentOS下查看ip地址：

ip a

Windows下查看ip地址（运行cmd)：

ipconfig

若以下操作正确，网络配置成功

  • 虚拟机 ping 网关
  • 虚拟机 ping 物理主机 (若ping不同物理主机，查看1.3中第5步看文件有没有配置错)
  • 物理主机 ping 虚拟机
  • 虚拟机 ping 百度（若ping不通外网地址，可在上步骤的网络配置文件中，修改其他DNS1地址）

1.6 关闭CentOS防火墙

分布式集群中，各个节点之间的通信会受到防火墙的阻碍，因此关闭防火墙（安全问题由专业软件在外围实现防火墙功能，统一管理）

关闭防火墙

systemctl stop firewalld.service

禁止防火墙开机启动

systemctl disable firewalld.service

查看放火墙状态

Systemctl status firewalld


active:loaded(dead) 关闭状态

若出现网络问题，查看网络配置文件是否错误

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1.7 安装XShell、XFtp

  • XShell与XFtp为付费软件，可在英文官方网站下载免费教育版（中文官网无此版本）

  • 安装成功后，新建连接，输入要连接的虚拟机master ip地址，输入用户名、密码进行连接

  • 登陆成功后，使用XShell代替虚拟机界面进行Shell操作

2. 基础环境配置

2.1 切换用户至root用户 (安装系统时创建了新用户)

su root

2.2 配置时钟同步

在线安装ntpdate，使用阿里云ntp服务器同步时间，date命令查看当前时间

yum install ntpdate 

ntpdate ntp.aliyun.com

查看时间

date

若无法连接外网，可离线安装ntpdate ，ntpdate下载地址： https://pkgs.org/

rpm -ivh 'ntpdate包的路径' 

ntpdate ntp.aliyun.com

查看时间

date

2.3 配置主机名

在网络中能够唯一标识主机，和ip地址一样，可通过ip地址和网络主机名访问这台主机，作用：简化、方便。

修改主机名：

hostnamectl set-hostname master

查看修改后的主机名：

hostname

2.4 配置hosts列表

hosts列表作用是让集群中的每台服务器彼此都知道对方的主机名和ip地址

vi /etc/hosts

添加主机ip和主机名

192.168.91.10 master

验证，ping ip地址和主机名，结果相同无区别

ping 192.168.91.10
ping master

2.5 安装Java环境（本篇安装Java版本为Java1.8.0_161）

创建个人资料目录，java目录

mkdir /usr/elk
mkdir /usr/java
mkdir /usr/hadoop

j

使用XFtp复制java安装包至elk目录下，解压，移动至java目录下

tar -zxvf jdk-8u161-linux-x64.tar.gz
mv jdk1.8.0_161 /usr/java/jdk1.8.0_161

进入系统配置文件

vi /etc/profile

文件最后面添加以下两行

export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH

使配置生效(切记)

source /etc/profile
java -version

在这里插入图片描述
图为成功状态

2.6 安装Hadoop环境（本篇所安装Hadoop版本为Hadoop2-10-0）

使用XFtp上传hadoop安装包至yoseng文件夹下，解压Hadoop安装包，并移动至新的文件夹中

tar -zxvf hadoop-2.10.0.tar.gz 
mv hadoop-2.10.0  /usr/hadoop/hadoop-2.10.0

配置Hadoop环境变量

vi /etc/profile

在配置文件最后添加以下两行

export HADOOP_HOME=/usr/hadoop/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使hadoop配置生效，并进行验证

source /etc/profile
hadoop version whereis hdfs

在这里插入图片描述
图为成功状态

无错误信息表示hadoop已成功加入到CentOS系统环境中

2.7 将hadoop与java绑定(切记)

设置hadoop配置文件

cd /usr/hadoop/hadoop-2.10.0/etc/hadoop
vi hadoop-env.sh

找到下面这行代码：

export JAVA_HOME=${JAVA_HOME}

将这行代码修改为

export JAVA_HOME=/usr/java/jdk1.8.0_161

3. 配置Hadoop

3.1 Hadoop核心文件配置

进入hadoop的etc文件夹，配置core-site.xml文件，新增以下内容

<configuration>
    <!--指定文件系统的入口地址，可以为主机名或ip -->
    <!--端口号默认为8020 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
    <!--指定hadoop的临时工作存目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

配置yarn-env.sh文件，找到该行：

export JAVA_HOME=/home/y/libexec/jdk1.6.0/

修改为：

export JAVA_HOME=/usr/java/jdk1.8.0_161

配置hdfs-site.xml文件，新增以下内容：

<configuration>
    <!--指定hdfs备份数量，小于等于从节点数目-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
		
  <!--  自定义hdfs中namenode的存储位置-->
  <!--  <property>-->
  <!--      <name>dfs.namenode.name.dir</name>-->
  <!--      <value>file:/usr/hadoop/dfs/name</value>-->
  <!--  </property>-->
  <!--  自定义hdfs中datanode的存储位置-->
  <!--  <property>-->
  <!--      <name>dfs.datanode.data.dir</name>-->
  <!--      <value>file:/usr/hadoop/dfs/data</value>-->
  <!--</property>-->
</configuration>

配置mapred-site.xml文件，通过cp命令生成不带后缀 template 的文件

cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml文件，新增以下内容：

<configuration>
    <!--hadoop的MapReduce程序运行在YARN上-->
    <!--默认值为local-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>     
    <!--nomenodeManager获取数据的方式是shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>  
</configuration>

修改slaves文件，删除原有内容，新增即将要建立的三个虚拟机的hostname

slave1
slave2
slave3

3.2 克隆多台slave机

使用master镜像克隆3台虚拟机(创建完整克隆)，名称分别为slave1、slave2、slave3，根据电脑配置情况可以自由设置数量，以下步骤与上方执行过程相同。

  • 修改每个slave的主机名，方法同2.3
  • 进入etc/sysconfig/network-scripts中，修改每台slave机的ip地址 ，方法同1.3
  • 修改master和每个slave机的hosts文件，方法同2.4，将以下代码更新到etc/hosts文件中
  192.168.253.5 master
  192.168.253.6 slave1
  192.168.253.7 slave2
  192.168.253.8 slave3

3.3 可选—同步hadoop配置（仅当master与slave配置不同时使用）

将master机上的hadoop文件夹发送给三台slave机

scp -r /usr/hadoop slave1:/usr/hadoop 
scp -r /usr/hadoop slave2:/usr/hadoop 
scp -r /usr/hadoop slave3:/usr/hadoop

4. 配置SSH登录

4.1 生成公钥私钥

在master和每台slave上，使用rsa算法产生公钥和私钥（安装过程中，使用“Enter”键确定）

ssh-keygen -t rsa

查看生成的私钥id_rsa和公钥id_rsa.pub

cd /root/.ssh/
ls

4.2 发送公钥

在master上创建一个大家通用的公钥authorized_keys，修改authorized_keys权限，并将这个公钥发送给每个slave

cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
systemctl restart sshd.service
scp /root/.ssh/authorized_keys slave1:/root/.ssh
scp /root/.ssh/authorized_keys slave2:/root/.ssh
scp /root/.ssh/authorized_keys slave3:/root/.ssh

4.3 验证SSH

ssh登录检验，不需要密码即可登录路径从’~/.ssh ‘变成’~’，登出为exit

ssh master
ssh slave1
exit
ssh slave2
exit
ssh slave3
exit

注：只实现了master到slave单向免登陆！！！

5. 准备运行hadoop

5.1 格式化HDFS

在master机上，进入hadoop下的bin文件夹，运行以下代码：

hdfs namenode -format

注意：只需格式化一次！多次格式化会导致NameNode和DataNode的集群ID值不匹配，需要在格式化前删除NameNode，DataNode、日志等文件夹。

5.2 启动hadoop

进入hadoop中的sbin文件夹下，运行：

start-dfs.sh
start-yarn.sh

5.3 查看hadoop进程

jps

5.4 通过web端访问hadoop

查看NameNode、DataNode：
http://192.168.91.10:50070
查看SecondaryNameNode信息：
http://192.168.91.10:50090
查看YARN界面：
http://192.168.91.10:8088

暴躁的小庄
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop基础------虚拟机(一)---虚拟机简介
直到世界的尽头
02-05 3218
什么是虚拟机 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 虚拟机通过生成操作系统的全新虚拟镜像，它具有真实系统完全一样的功能，进入虚拟机后，所有操作都是在这个全新的独立的虚拟系统里面进行，可以独立安装运行软件，保存数据，拥有自己的独立桌面，不会对真正的系统产生任何影响 ，而且具有能够在现有系统与虚拟镜像
大数据克隆虚拟机配置hadoop.doc
05-24
虚拟机克隆配置教程，克隆后需要配置虚拟机的信息，比如ip地址等，此文档自己试过记下了步骤，一步一步跟着做就行
大数据平台——Hadoop环境配置
王同学的博客
09-30 2119
1. 虚拟机配置 版本：VM15中安装了centos7，镜像：CentOS-7-x86_64-Minimal-1908 ；hadoop2.10.0，jdk1.8.0_241 1.1 安装CentOS系统 不建议安装CentOS最新版本。 注：本文使用VMWare进行配置，若使用VirtualBox配置时，除虚拟机网络配置略有不同外，其他一致。 1.2 网络连接介绍 1.桥接模式：虚拟机和物理机连的是同一个网络，虚拟机和物理机是并列关系，地位是相当的。无论是虚拟系统还是真实系统，只要在同一个网段下，相互之间就
Hadoop虚拟机配置
最新发布
m0_74087268的博客
06-22 405
1.配置workers文件#进入配置文件目录#编辑workers文件 (填入的node1、node2、node3)#填入如下内容 (表明集群记录了三个从节点(DataNode))node1node2node32.配置hadoop-env.sh文件#填入如下内容export JAVA_HOME=/export/server/jdk #JAVA_HOME,指明JDK环境的位置在哪。
安装Hadoop 3.3.5
Aggy阿吉的博客
12-17 317
Hadoop架构设计论述kafka 依赖 Zookeeper 管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装 Zookeeper。为了达到高可用的目的，Zookeeper 自身也不能是单点，接下来就介绍如何搭建一个最小的 Zookeeper 集群（3个 zk 节点）。常识科普：Kafka的存储与安装不依赖于hdfs/spark，从下边安装过程你可以得知这个信息。
hadoop-3.3.5安装过程
Snower_2022的博客
12-01 590
hadoop 环境配置以及JDK 安装。
基于华为云服务器Ubuntu22.04部署hadoop-3.3.5集群配置教程（踩坑已填平）
qq_52021573的博客
02-22 1358
由于最近在网上查阅资料发现很少有基于云服务器来搭建部署hadoop集群的文章，而且使用新版的hadoop的又更少了，所以自己根据网上搭建的例子结合成功实现了部署，这里我就来分享一下的部署过程。
虚拟机配置Hadoop，hive,java,等
06-02
根据本文件可以进行配置
在VMware虚拟机中安装hadoop集群
04-17
在VMware虚拟机中安装hadoop集群并配置
虚拟机伪分布式安装hadoop的配置
12-23
【虚拟机伪分布式安装Hadoop的配置】 在IT领域，Hadoop是一个开源的分布式计算框架，常用于大数据处理。为了在个人计算机上模拟Hadoop的分布式环境，我们通常会在虚拟机上进行“伪分布式”安装。这个过程允许我们在...
基于虚拟机集群hadoop2.7.1配置文件
10-24
本主题将详细解析基于虚拟机集群配置Hadoop 2.7.1的相关知识点，结合给定的文件，我们将深入理解如何搭建和配置这个环境。 首先，我们来看标题——"基于虚拟机集群hadoop2.7.1配置文件"。这意味着我们要在多台...
Hadoop3.3安装配置
feiyan的博客
04-19 1981
1. macOS安装 brew install hadoop brew install hive 2. 参数配置 参考地址：Hive安装配置 (1)环境变量： ## java export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_321.jdk/Contents/Home export CLASSPATH=$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH ## go export GOROOT=
虚拟机和hadoop
09-21 183
摘要：VMware虚拟机安装Win10,Win10用虚拟机安装教程 微软发布Win10预览版下载地址后，用WMware虚拟机安装Win10是很好的选择。如何用VMware虚拟机安装Win10,Win10怎么用虚拟机安装？ 工具/材料 VMware虚拟机 Win10 VMware虚拟机安装Win10,Win 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（...
hadoop3.3.5集群搭建
qikuhu的博客
09-14 582
hadoop3.3.5集群搭建
Hadoop-3.3.5 全分布式集群部署
好记性不如烂笔头
10-11 1040
一、前期准备 1、hadoop-3.2.0安装包 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2、配置jdk1.8 vim /etc/profile #添加如下信息 export JAVA_HOME=jdk安装目录 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:JAVA_HOME/bin 再保存执行　　 #source /etc/profil
Hadoop 3安装配置
weixin_30348519的博客
05-30 508
三台虚拟机：node1是master节点，node2和node3是数据节点，也可选择将node1也作为数据节点 需要的基本设置1.时间同步(时间服务器)，网络，hosts时间同步设置（时间服务器，ntp服务器）yum install ntpdatentpdate -u 3.tw.pool.ntp.org 可能设置固定IPvi /etc/sysconfig/network-scripts/...
Hadoop-3.3.5伪分布式安装
qq_46480020的博客
03-29 940
hadoop-3.3.5伪分布式安装，并做了一些优化配置
Hadoop集群搭建之虚拟机-Vmware（一）
weixin_33782386的博客
04-07 377
一、Vmware虚拟机的介绍 -------------------------------------------------------------------------------- VMware公司简介: 威睿（英语：VMware, Inc.）是一家全球著名的软件的公司，它提供云计算和硬件虚拟化的软件和服务，并号称是第一个商业化的成功的虚拟化的x86架构。公司成立于1998年，VM...
Hadoop3.3.5安装笔记
xiaozhouwa的博客
03-06 390
首先这个是厦门大学计算机系林子雨副教授出的教程，按着来就可以完成。这个是Ubuntu和Windows通过FTP互传文件的实现。这个是FileZilla上实现远程连接的操作。
虚拟机如何配置Hadoop
06-08
配置Hadoop需要先准备好虚拟机，以下是在虚拟机中配置Hadoop的步骤： 1. 下载并安装虚拟机软件，如VirtualBox，VMware等。 2. 下载并安装Linux操作系统，如Ubuntu，CentOS等。 3. 下载并安装Java开发环境，如JDK...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值