基于Win11、CentOS7、VMWare15pro搭建Hadoop2.7.7

最新推荐文章于 2023-11-28 10:55:03 发布
最新推荐文章于 2023-11-28 10:55:03 发布
阅读量214 收藏 1
点赞数
分类专栏： java 文章标签： linux ubuntu 运维 开发语言 spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46416934/article/details/126565576
版权

基于Win11、CentOS7、VMWare15pro搭建Hadoop2.7.7

注意，本文章只有实操，基本没有理论概述，因为鄙人也在新手阶段，这点微薄知识就不上传了。需要进一步深入了解请移步到官网

一. 安装

  1. 首先在vm虚拟机里搭建一台linux（centos7）root账户密码都设置为 123456
  2. 注意的事项为
    以下文章的命令都是适用centos7的，centos6部分命令不适用
    hadoop01 的内存为4G，hadoop02、hadoop03都为3G
    不要配置分区
    不要配置yum源
    语言都使用English(US) 方便学习 或 不要产生不必要的问题
    不要安装图形界面
    网络模式使用NAT
    参考链接：https://www.cnblogs.com/frankdeng/p/9027037.html

二. 配置IP映射

  1. 安装完成后找到vm虚拟机左上角的编辑 -> 虚拟网络编辑器 -> 选择类型为NAT模式 -> 下方子网IP改为：

    192.168.121.0

  2. 右下DHCP设置 -> 起始IP与结束IP分别改为：

    192.168.121.128
    192.168.121.254

  3. 打开hadoop01，登陆root账户 vi /etc/hosts 按 i 在下面输入:

    192.168.121.134 hadoop01
    192.168.121.135 hadoop02
    192.168.121.136 hadoop03

    保存： Esc > :wq

三. 克隆

  1. 克隆前先把 hadoop01 关机
    在左边库中对hadoop01右键找到管理->克隆->选择完整克隆
    修改克隆的名字为hadoop02与存储位置 (建议把三台linux放在同一个位置)
    克隆完后修改内存为3G
    hadoop03一样的操作

四. 修改主机名

  1. hadoop02、hadoop03也要修改对应的主机名

    hostnamectl set-hostname hadoop01
    查看结果
    hostname
    重启生效
    reboot

五. 配置网卡

hadoop01
HWADDR 的值在左边我的计算机下面的hadoop01右键->设置->网络适配器->高级->下方的MAC地址找到后复制到某个文本里 后面需要用到

  1. 修改网卡配置 ifcfg-ens33 以实际为准 可在该目录下查看 一般第一个就是

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

    修改：
ONBOOT=yes
BOOTPROTO=static
添加:
IPADDR=192.168.121.134
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=114.114.114.114
HWADDR=00:0C:29:29:B9:44
删除：
UUID 或者注释 #UUID
重启网卡：
systemctl restart network.service 
验证：
ping www.baidu.com

    1. 关闭NetworkManager

      systemctl stop NetworkManager.service
      systemctl disable NetworkManager.service

      hadoop02、hadoop03也是一样的操作，除了ip地址与HWADDR值不一样

六. 关闭防火墙

hadoop02、hadoop03也是一样的操作

systemctl start firewalld (开启防火墙)
systemctl status firewalld (查看防火墙状态 active 开启)
systemctl disable firewalld (永久关闭防火墙 重启生效)
systemctl stop firewalld (临时关闭 立即生效)
systemctl status firewalld ( 检查为 inactive 关闭)

七. 关闭SElinux

hadoop02、hadoop03也是一样的操作

查看命令 sestatus
SELinux status: enabled （为开启）
vi /etc/selinux/conf
找到 SELINUX=enforcing
修改为 SELINUX=disabled

保存 esc > :wq
重启 reboot
验证效果

ping hadoop01
ping hadoop02
ping hadoop03

在每台都验证一下 看是否防火墙关闭成功

八. 开启、配置shhd密匙认证

  1. 查看是否安装 ssh服务 rpm -qa | grep ssh
    没有则安装：yum install -y openssl openssh-server

    vi /etc/ssh/sshd_config

    将下面的值取消 注释 或 修改为 yes

    PermitRootLogin yes
    RSAAuthentication yes
    PubkeyAuthentication yes
    AuthorizedKeysFile .ssh/authorized_keys

    重启sshd服务

    systemctl restart sshd

  2. 创建普通用户

    2.1. 在后面的操作都将使用普通用户进行操作，root账户的权限太高，防止出现不可逆转的因素

    创建普通用户
    useradd hadoop
    设置密码
    passwd hadoop （密码都为 123456）

    su hadoop

    2.2. 给普通用户添加使用sudo权限 (进入root账户操作)

    su
    visudo
    在 root ALL=(ALL) ALL 下面添加
    hadoop ALL=(ALL) ALL
    去掉 %wheel ALL=（ALL） NOPASSWD：ALL前面的#
    保存 esc > :wq
    gpasswd -a hadoop wheel
    su hadoop
    测试 sudo date

  3. 生成公钥与私钥
    然后在hadoop01、hadoop02、hadoop03上都运行下面代码

    ssh-keygen -t rsa
    ssh-copy-id hadoop01 # 输入yes 然后输入密码
    ssh-copy-id hadoop02
    ssh-copy-id hadoop03

  4. 免密测试

    ssh hadoop02
    ssh hadoop03
    ssh hadoop01

    都不需要输入密码就能登陆，就是成功了

九. 安装配置jdk8

  1. 下载账户
    因为下载jdk需要登陆账户，所有为大家提供一个账户(密码后有位小数点)，方便学习使用，请不要改密码，谢谢！

    user：lateautumns@163.com
    passwd: Oracle123.

  2. 首先创建目录在根目录下cd ~

    sudo mkdir -p /export/data # 存放数据类文件
    sudo mkdir -p /export/servers # 存放服务类软件
    sudo mkdir -p /export/software # 存放安装包文件

  3. 下载
    下载jdk-8uxxx-linux-x64.tar.gz (xxx表示版本)参考链接：https://blog.csdn.net/pdsu161530247/article/details/81582980
    利用SecureFX OR WinSCP等软件将文件上传到Linux里export/software目录下，执行下面命令

      cd /export/software
  tar -zxvf jdk-8uxxx-linux-x64.tar.gz -C /export/servers/
  配置环境变量
  vi /etc/profile
  执行下面命令快速编辑
  99gg > o 
  复制以下内容
  export JAVA_HOME=/export/servers/jdk1.8.0_xxx  #jdk安装目录
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
  export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
  export PATH=$PATH:${JAVA_PATH}
  保存命令
  esc > :wq 
  让环境变量立即生效 
  source /etc/profile 
  验证：
  javac 
  java -version

十. 安装配置hadoop

  1. 安装：
    下载hadoop-2.7.7.tar.gz
    下载链接：https://archive.apache.org/dist/hadoop/common/?C=M;O=D
    利用SecureFX 将文件复制到export/software目录下

    cd /export/software
    tar -zxvf jdk-8uxxx-linux-x64.tar.gz -C /export/servers/
    配置环境变量
    vi /etc/profile
    export HADOOP_HOME=/usr/local/hadoop2.7.7
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
    让环境变量立即生效
    source /etc/profile
    验证
    hadoop version

    1. 修改配置文件：
      需要修改的配置文件有hadoop-env.sh、core-site.xml、 hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
      下面进行个性化配置
      hadoop-env.sh

      cd /export/servers/hadoop2.7.7/etc/hadoop/
      vi hadoop-env.sh
      将 export JAVA_HOME=${JAVA_HOME}
      修改为：export JAVA_HOME=/export/servers/jdk1.8.0_xxx # java安装路径
      保存：> esc > :wq

      core-site.xml

      vi core-site.xml
      找到标签
      在里面插入如下内容

      <property>
       	<name>fs.defaultFS</name>
       	<value>hdfs://hadop01:9000</value>
</property>
<property>
       	<name>hadoop.tmp.dir</name>
       	<value>/usr/local/hadoop2.7.7/tmp</value>
</property>

      保存：> esc > :wq

      hdfs-site.xml

      vi hdfs-site.xml
      找到
      在里面插入如下内容

      <property>
       	<name>dfs.replication</name>
       	<value>3</value>
</property>
<property>
       	<name>dfs.namenode.secondary.http-address</name>
       	<value>hadoop02:50090</value>
</property>

      保存：> esc > :wq

      mapred-site.xml
      没有该文件 需要使用用到模板文件进行复制改名

      cp mapred-site.xml.template mapred-site.xml
      vi mapred-site.xml
      找到
      在里面插入如下内容

      <property>
       	<name>mapreduce.framework.name</name>
       	<value>yarn</value>
</property>

      保存：> esc > :wq

      yarn-site.xml

      vi yarn-site.xml
      找到
      在里面插入如下内容

      <property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop01</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

      保存：> esc > :wq

      slaves

      vi slaves
      删掉loaclhost
      添加 （每个占一行）
      hadoop01
      hadoop02
      hadoop03

十一、分发配置文件与资源

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /usr/local/* hadoop02:/usr/local/
scp -r /usr/local/* hadoop03:/usr/local/

然后在hadoop02、hadoop03分别执行

source /etc/profile # 刷新配置文件

分别验证

java -version
hadoop version

十二. 测试启动Hadoop集群

  1. 格式化文件系统命令： hdfs namenode -format (在生成的日志记录中看到 been successfully formatted 表示成功)。
    如果有报错信息，查看报错信息，根据报错信息解决问题。一般为前面配置的4个文件是否有误。
    修改后重新格式化。
    使用普通用户启动hadoop集群（因为我们是在hadoop用户中配置的ssh免登陆）

    su hadoop
    start-dhs.sh # 这些命令是在hadoop目录下的sbin目录里
    start-yarn.sh
    jps # 查看节点是否启动 分别为
    hadoop01
    resourcemanager nodemanager datenode namenode
    hadoop02
    datenode nodemanager secondarynamenode
    hadoop03
    datenode nodemanager

    如果少一个，可以试试关闭集群，重新启动 或者单独启动缺少的节点 命令在sbin目录中查找
    需要在对应的节点启动对应的节点 （hadoop01为主节点）

    关闭命令
    stop-dhs.sh
    stop-yarn.sh

    还不行可能是配置，可以去查看haoop目录下的logs目录中的log文件找报错原因

    1. 配置windows的hosts文件
      找到C:WindowsSystem32driversetc 目录下的hosts文件，右键，属性，把只读的选项取消。然后用笔记本或notepad++打开hosts文件，在下面添加如下内容

      192.168.121.134 hadoop01
      192.168.121.135 hadoop02
      192.168.121.136 hadoop03

      在浏览器里打开 http://hadoop01:50070与http://hadoop01:8088。查看运行情况，成功打开
      至此Hadoop集群搭建完毕

十三. 测试Hadoop集群

单词词频统计

cd ~/export/data/
sudo vi word.txt
添加：
hello itcast
hello itheima
hello hadoop
保存：esc >:wq
hadoop fs -mkdir -p /wordcount/input
hadoop fs -put word.txt /wordcount/input
cd /export/servers/hadoop-2.7.7/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcount/input wordcount/output

查看浏览器的两个页面，8088端口的会显示运行状态，结束后，查看50070端口，点击utilities > Browse the file system 输入 /wordcount/output > 点击part-r-00000 > 下载后使用notepad++打开查看结果
参考链接：https://blog.csdn.net/qq_40487484/article/details/96772856
https://blog.csdn.net/pengjunlee/article/details/81589972
https://www.cnblogs.com/theyang/p/12336391.html
https://blog.csdn.net/pengjunlee/article/details/53932094

十四. 配置hadoop集群时间同步

使用Hadoop01为主服务器，其他节点根据主服务器来自动修正时间
所有节点都需要安装ntp与ntpdate

yum install -y ntp and yum install -y ntpdate

hadoop01：

vi /etc/ntp.conf

授权192.168.121.128-192.168.121.255网段上的所有机器可以从这台机器上查询和同步时间

修改
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
为
restrict 192.168.121.128 mask 255.255.255.0 nomodify notrap

集群在局域网中，不使用其他互联网上的时间
注释 类似 server 0.centos.pool.ntp.org iburst 有多少注释多少
并在后面添加主服务器的ip

server 192.168.121.134
server cn.pool.ntp.org perfer # 网络时间同步

当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步，所以到末尾添加

server 127.127.1.0
fudge 127.127.1.0 stratum 10

保存
修改ntpd配置

vi /etc/sysconfig/ntpd
添加
SYNC_HWCLOCK=yes
重新启动
systemctl enable ntpd
systemctl restart ntpd
开机自启
chkconfig ntpd on

hadoop02、hadoop03配置

vi /etc/ntp.conf
注释 类似 server 0.centos.pool.ntp.org iburst 有多少注释多少
并在后面添加主服务器的ip
server 192.168.121.134
保存后
crontab -e
*/10 * * * * /usr/sbin/ntpdate hadoop01 # 每过10分钟与hadoop01同步时间

hadoop01 先调整时间

sudo date -s “2022-3-17 18:18:06”

等待其他机器同步时间

ntpdate hadoop01 # 强制与hadoop01同步时间 但不建议这么做
ntpd 是与服务器的时间通过计算慢慢的把自己的时间更改过来
ntpdate 是立即同步时间，即时间的跃变。对某些依靠时间的程序造成不可逆转的问题

参考连接:https://www.cnblogs.com/liushui-sky/p/9203657.html
有问题请留言或联系鄙人
不足之处请多多指教，感谢！！！

xiaoweiwei99
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-2.7.7-src源码
11-30
eclipse环境下hadoop-2.7.7-src源码，用压缩软件解压即可使用
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 4634
win环境下大数据Hadoop的部署hadoop+hive环境
在window11系统下安装和配置Hadoop并在idea上连接HDFS的过程中可能出现的问题以及解决办法
最新发布
m0_63168284的博客
11-28 732
hadoop环境配置
Windows11安装Hadoop出现问题：此时不应有...
kuyuguoheqi的博客
01-17 815
Windows安装Hadoop出现问题：此时不应有...已解决
Windows11安装hadoop-3.3.0
xiliuhu的专栏
05-07 2616
解压到C:\hadoop-3.3.0目录，形成C:\hadoop-3.3.0\bin这种目录层次。将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录。\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。2. 下载winutils替换hadoop-3.3.0\bin目录。选择hadoop-3.3.0.tar.gz下载。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。1. 下载hadoop-3.3.0。执行start-dfs.cmd文件。
hadoop-2.7.7.tar.gz下载网址
Blackie_goldman的博客
04-20 5500
hadoop-2.7.7.tar.gz下载网址 其他不同版本下载链接
Win7下编译hadoop
weixin_43827951的博客
05-18 678
Win7下编译hadoop 一、解压源码 Hadoop2.7.7 源码下载：hadoop-2.7.7-src.tar.gz源码下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7-src.tar.gz 这里解压到了D:\cygwin64，并且重命名，D:\cygwin64\had...
windows11安装hadoop， IDEA org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)
qq_43409608的博客
04-19 2919
Hadoop官方都是linux安装包，不过也不影响Windows上安装 一、首先 将linux上的tar.gz安装包解压缩 需要解压缩两次，建议下载7.zip解压 解压后的截图 在二二、Windows上配置环境变量 1 HADOOP_HOME 2 PATH中新增 三、修改"D:\软件\hadoop\hadoop-3.3.2\etc\hadoop\hadoop-env.cmd" 中的set java_home变量 建议通过将cmd后缀改为txt的方式来修改，修改完成后保存再修改回cmd jdk是安装在
Windows系统Hadoop下载安装
澎湖Java架构师的博客
04-11 3555
Windows系统Hadoop下载安装 Hadoop下载 Hadoop安装 Hadoop环境配置 Hadoop服务启动 Hadoop下载 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 请求官网下载地址，点击 hadoop-2.7.7 链接 点击 hadoop-2.7.7.tar.gz 链接 点击下载按钮进行下载 Hadoop安装 解压 hadoop-2.7.7.tar.gz 解压 hadoopon
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip
09-21
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip，配置hadoop+zookeeper必须，版本已适配。 hbase下载链接：https://download.csdn.net/download/tracelessle/11797862； sqoop + jdk + mysql-connector-java下载链接：https://download.csdn.net/download/tracelessle/11797875。
hadoop-2.7.7.tar.gz
04-26
本实验所用的Hadoop版本是hadoop-2.7.7.tar.gz，下载后，解压按照文章步骤安装即可
linux centos 7 搭建hadoop2.7.7完全分布式
weixin_58220410的博客
04-07 2133
此搭建过程通过xshel远程连接操作 ssh免密登录 zookeeper搭建 请查看本专栏的 其他文章 本文中使用的 xshell xftp 本人均已经上传至 资源专栏中 节点 名称与 ip 与集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署DataNode和NodeManager服务，但其中 slave1 上部署SecondaryNameNode服务 master 上部署NameNode、ResourceManager和JobHistoryServe...
win11安装hadoop3.3.2(当前最新版本）
蒯厅博客
03-18 5874
前提Java已经安装 安装准备 下载链接：链接 解压 将hadoop 到自己想要解压的路径下(这我解压到D盘下） 修改配置文件 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml core-site.xml <configuration> <property> <name>fs.default.name</name> <valu
Win11安装vmware15.5出现兼容性问题，导致无法运行！
qq_27500853的博客
12-07 1万+
解决win11安装vmware15.5出现的兼容性问题。
VMware16安装windows11系统
qq_59568366的博客
06-29 736
依次展开HKEY_LOCAL_MACHINE\SYSTEM\Setup，右键点击Setup，选择新建–项，命名为LabConfig。关闭注册表, 关闭命令提示符黑框, 选择Windows11专业版,点击下一步, 成功出现以下页面,设置Windows11的磁盘大小, 我这里设置60G , 后期不够用可以增加。选择系统,MicroSoft Windows, 版本选win10 x64。给设备命名,输入你想要的名字,点击下一步,设备会重启。稍等片刻, 出现安装系统页面,点击下一页。点击稍后安装操作系统, 下一步。
Mac上搭建Hadoop环境(2) — Hadoop下载及安装
Lestat.Z.的博客
03-24 3921
文章目录前言下载hadoop安装hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml将hadoop复制到slave1和slave1上修改slave上的hadoop-env.sh和yarn-env.sh中的JAVA_HOME值添加had...
Win11使用VMware15/16启动虚拟机直接蓝屏的爬坑记录
热门推荐
featherXYJ的博客
07-31 1万+
Win11使用VMware15/16启动虚拟机直接蓝屏
win11旗舰版安装WSL子系统和环境-11搭建单机Hadoop和Spark集群环境
tmxye的博客
02-02 383
win11旗舰版安装WSL子系统和环境-11搭建单机Hadoop和Spark集群环境
centos7 快速搭建hadoop集群脚本
05-19
以下是一个简单的脚本，可以快速在 CentOS 7 上搭建 Hadoop 集群： ```bash #!/bin/bash # Hadoop Cluster Setup Script # Set hostname echo "Setting hostname..." hostnamectl set-hostname hadoop-master echo...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值