hadoop安装与配置：使用Shell脚本一键下载、安装、配置Hadoop(单机版)

已于 2023-11-25 07:38:24 修改
阅读量727 收藏
点赞数 16
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
于 2023-11-24 22:08:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcs2312852665/article/details/134607030
版权

一、使用shell脚本自动安装配置准备

安装前提：安装搭建Hadoop，不能使用超级用户，需要新建一个用户

1. 已经安装好一台centos

(1) centos已经安装wget、net-tools、vim
(2) centos已经安装jdk，并已经设置好环境变量
(3) centos的防火墙已关闭，或者已经开放hadoop的端口9870、9868、8088

2. 创建用户

(1) 创建一个为zcs2312的用户

useradd zcs2312

(2) 设置用户zcs2312密码

passwd zcs2312

根据提示设置密码
在这里插入图片描述
(3) 设置用户zcs2312能够使用sudo命令以root权限执行任务

visudo

在打开的文件中，找到以下行：

##Allow root to run any commands anywhere
root    ALL=(ALL)       ALL

在该行下方添加以下内容，以允许新用户使用sudo：
zcs2312 ALL=(ALL) ALL
在这里插入图片描述

3. 使用用户zcs2312登录centos

(1) 登录之后，执行以下命令，然后连续点三下回车生成SSH密匙对

ssh-keygen -t rsa

在这里插入图片描述

(2) 把密匙对分发给本机，让本机可以免密登录

ssh-copy-id $(hostname)

在这里插入图片描述
(3) 给/opt目录增加写入权限

sudo chmod a+w /opt

二、使用shell脚本自动下载安装配置hadoop（单机版）

1. 自动下载安装配置的shell脚本

(1) 把这个shell脚本保存为install_hadoop.sh文件，然后上传至/tmp目录下

#!/bin/bash

# 安装版本
zk_version="3.1.3"
# 安装目录
zk_installDir="/opt/module"
# 主机名或ip地址
ip_addr=$(ip addr | grep 'inet ' | awk '{print $2}'| tail -n 1 | grep -oP '\d+\.\d+\.\d+\.\d+')
hostname=$(hostname)

install_hadoop() {
  local version=$1
  local installDir=$2
  local host=$3
  # 下载地址
  local downloadUrl="https://archive.apache.org/dist/hadoop/common/hadoop-$version/hadoop-$version.tar.gz"
  # 检查安装目录是否存在，不存在则创建
  if [ ! -d "${installDir}" ]; then
    echo "创建安装目录..."
    sudo mkdir -p "${installDir}"
  fi

  if test -f /tmp/hadoop-"$version".tar.gz; then
    echo "/tmp/hadoop-$version.tar.gz文件已存在"
  else
    # 下载hadoop
    echo "开始下载hadoop..."
    wget "$downloadUrl" -P /tmp
  fi

  if test -d "${installDir}"/hadoop-"$version"; then
    sudo rm -rf "${installDir}"/hadoop-"$version"
  fi
  echo "开始解压hadoop..."
  tar -zxvf /tmp/hadoop-"$version".tar.gz -C "${installDir}"

  if test -n "$(grep '#HADOOP_HOME' ~/.bashrc)"; then
    echo "HADOOP_HOME已存在"
  else
    # 设置hadoop用户环境变量
    echo >> ~/.bashrc
    echo '#HADOOP_HOME' >> ~/.bashrc
    echo "export HADOOP_HOME=${installDir}/hadoop-${version}" >> ~/.bashrc
    echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> ~/.bashrc
    echo 'export PATH=$PATH:$AHDOOP_HOME/sbin' >> ~/.bashrc
  fi

  # 配置hadoop
  echo "配置hadoop..."
  coresite="\
  <configuration>\n\
      <!--指定NameNode的地址-->\n\
      <property>\n\
          <name>fs.defaultFS</name>\n\
          <value>hdfs://$host:8020</value>\n\
      </property>\n\
      <!--指定hadoop数据的存储目录-->\n\
      <property>\n\
          <name>hadoop.tmp.dir</name>\n\
          <value>/opt/module/hadoop-3.1.3/data</value>\n\
      </property>\n\
  	<!-- 配置访问hadoop的权限，能够让hive访问到 -->\n\
  	<property>\n\
  		<name>hadoop.proxyuser.root.hosts</name>\n\
  		<value>*</value>\n\
  	</property>\n\
  	<property>\n\
  		<name>hadoop.proxyuser.root.users</name>\n\
  		<value>*</value>\n\
  	</property>\n\
  </configuration>\
  "
  hdfssite="\
  <configuration>\n\
      <!-- namenode web端访问地址-->\n\
      <property>\n\
          <name>dfs.namenode.http-address</name>\n\
          <value>$host:9870</value>\n\
      </property>\n\
      <!-- secondarynamenode web端访问地址-->\n\
      <property>\n\
          <name>dfs.namenode.secondary.http-address</name>\n\
          <value>$host:9868</value>\n\
      </property>\n\
  	<property>\n\
  	  <name>dfs.permissions.enabled</name>\n\
  	  <value>false</value>\n\
  	</property>\n\
  </configuration>\
  "
  mapredsite="\
  <configuration>\n\
      <!--指定MapReduce程序运行在Yarn上-->\n\
      <property>\n\
          <name>mapreduce.framework.name</name>\n\
          <value>yarn</value>\n\
      </property>\n\
  	 <!--历史服务器端地址-->\n\
      <property>\n\
          <name>mapreduce.jobhistory.address</name>\n\
          <value>$host:10020</value>\n\
      </property>\n\
      <!--历史服务器web端地址-->\n\
      <property>\n\
          <name>mapreduce.jobhistory.webapp.address</name>\n\
          <value>$host:19888</value>\n\
      </property>\n\
  </configuration>\
  "
  yarnsite="\
  <configuration>\n\
      <!--指定MR走shuffle -->\n\
      <property>\n\
          <name>yarn.nodemanager.aux-services</name>\n\
          <value>mapreduce_shuffle</value>\n\
      </property>\n\
      <!--指定ResourceManager的地址-->\n\
      <property>\n\
          <name>yarn.resourcemanager.hostname</name>\n\
          <value>$host</value>\n\
      </property>\n\
      <!--环境变量的继承-->\n\
      <property>\n\
          <name>yarn.nodemanager.env-whitelist</name>\n\
          <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>\n\
      </property>\n\
  	<!--开启日志聚集功能-->\n\
  	<property>\n\
  		<name>yarn.log-aggregation-enable</name>\n\
  		<value>true</value>\n\
  	</property>\n\
  	<!--设置日志聚集服务器地址-->\n\
  	<property>\n\
  		<name>yarn.log.server.url</name>\n\
  		<value>http://$host:19888/jobhistory/logs</value>\n\
  	</property>\n\
  	<!--设置日志保留时间为7天-->\n\
  	<property>\n\
  		<name>yarn.log-aggregation.retain-seconds</name>\n\
  		<value>604800</value>\n\
  	</property>\n\
  </configuration>\
  "
  sed -i '/<configuration>/,/<\/configuration>/c '"$coresite"'' "$installDir"/hadoop-"$version"/etc/hadoop/core-site.xml
  sed -i '/<configuration>/,/<\/configuration>/c '"$hdfssite"'' "$installDir"/hadoop-"$version"/etc/hadoop/hdfs-site.xml
  sed -i '/<configuration>/,/<\/configuration>/c '"$mapredsite"'' "$installDir"/hadoop-"$version"/etc/hadoop/mapred-site.xml
  sed -i '/<configuration>/,/<\/configuration>/c '"$yarnsite"'' "$installDir"/hadoop-"$version"/etc/hadoop/yarn-site.xml
  echo $(hostname) > "$installDir"/hadoop-"$version"/etc/hadoop/workers
  echo "hadoop的配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml都已配置完成"


  "$installDir"/hadoop-"$version"/bin/hdfs namenode -format
  if [ $? -eq 0 ]; then
    echo "格式化namenode成功"
  else
    echo "格式化namenode失败"
    exit 1
  fi
  rm -rf /tmp/hadoop-"$version".tar.gz
  echo "hadoop下载、安装、配置完成"
}

install_hadoop "$zk_version" "$zk_installDir" "$hostname"

(2) 给/tmp/install_hadoop.sh增加执行权限

sudo chmod a+x /tmp/install_hadoop.sh

(3) 执行脚本，等待下载安装配置完成

/tmp/install_hadoop.sh

成功如下图所示：
在这里插入图片描述
(4) 加载用户环境变量

source ~/.bashrc

2. 启动hadoop

(1) 启动hdfs

/opt/module/hadoop-3.1.3/sbin/start-dfs.sh

启动成功如下图所示：
在这里插入图片描述
浏览器访问http://192.168.198.101:9870，如下图所示：
在这里插入图片描述
(2) 启动yarn

/opt/module/hadoop-3.1.3/sbin/start-yarn.sh

启动成功如下图所示：
在这里插入图片描述
浏览器访问http://192.168.198.101:8088，如下图所示：
在这里插入图片描述
至此，hadoop单机版下载、安装、配置结束，此配置把hdfs和yarn都部署到同一个主机上。

hadoop完全分布式一键安装、启动、停止脚本
一只闪闪发光的少爷爷
05-24 2110
hadoop完全分布式一键安装脚本 #!/bin/bash #配置HADOOP的安装目录 修改的地方1 脚本可以自己创建 ##在windows编写的代码可能运行有问题执行以下 1>vim redisshell.sh 2>:set ff=unix echo -e "请输入hadoop的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install" read ...
shell脚本一键配置hadoop
qq_38497133的博客
07-25 1209
文章目录一、环境配置** 脚本使用条件及脚本功能二、配置hadoop配置文件**脚本实现功能三、总结 一、环境配置 直接上脚本代码 #!/bin/bash # 修改主机名和主机列 echo "-------------开始修改主机名和主机列表--------------" a=`ifconfig ens33|awk -F " " 'NR==2{print $2}'` hostnamectl set-hostname znn b=`hostname` echo -e "$a \c" >> /etc
hadoop全分布式-脚本一键安装
09-14
将文件中的hadoop配置文件、自动安装脚本，自己下载的jdk、hadoop文件放于同一目录下，（注jdk、hadoop文件名中要包含关键字jdk、hadoop），然后运行脚本。详细请看说明。
hadoop安装与配置-shell脚本一键安装配置（集群版）
zcs2312852665的博客
12-08 1333
本文介绍了在Hadoop集群中安装和配置Hadoop的过程。通过使用Shell脚本一键安装，我们下载了指定版本的Hadoop，并将其安装到指定目录。随后，我们配置了Hadoop的核心、HDFS、MapReduce和YARN等关键参数。最后，我们启动了Hadoop集群，并通过浏览器访问了HDFS和YARN的Web界面。通过本文的指导，您可以轻松地搭建和配置Hadoop集群，为大规模数据处理提供强大的分布式计算能力。
Xshell——下载安装使用教程（图文详解 附安装包下载地址）
最新发布
2503_91462991的博客
04-15 1036
（1）双击电脑桌面安装好的Xshell快捷图标，进入Xshell（以云服务器为例），点击“连接”。（4）如下，连接云服务器上的Linux成功，可以使用Linux命令了。Xshell是连接Linux的，所以使用Xshell必须要先有一个。（2）输入云服务登录用户名，点击“确定”。下载Xshell，直接解压后就可以使用。（3）输入密码，点击“确定”。，虚拟机或云服务器都可以。
使用shell脚本安装hadoop高可用集群
热门推荐
sun_0128的博客
07-07 1万+
文章目录一.创建一台虚拟机二.复制两台虚拟机三.启动集群四.脚本内容如下1.jdk2.hadoop和zookeeper 集群划分 192.168.56.120 hadoop01 192.168.56.121 hadoop02 192.168.56.122 hadoop03 QuorumPeerMain QuorumPeerMain QuorumPeerMain JournalNode JournalNode JournalNode NameNode NameNode NodeMana
shell脚本完成hadoop的集群安装
carter115的专栏
04-11 2801
shell脚本完成hadoop的集群安装
Hadoop集群部署指南：使用Shell脚本在Ubuntu上配置
5. 使用Shell脚本简化集群配置：使用Shell脚本可以简化重复的操作步骤，提高部署效率。Shell脚本可以包含一系列命令来自动化执行复杂的安装和配置任务。通过适当的脚本，管理员可以轻松地在多个节点上执行相同的配置...
Slack-hadoop安装与配置
09-13
为了在Slack环境下安装Hadoop，用户需要具备一定的Linux系统知识，特别是对命令行操作和Shell脚本编写有一定了解。 系统准备是安装Hadoop之前的必要步骤。在此阶段，需要确认系统的硬件配置是否满足Hadoop运行的...
Hadoop安装与配置详解：从环境准备到运行MapReduce作业
10-14
Hadoop安装与配置详解：从环境准备到运行MapReduce作业 Hadoop是一个由Apache软件基金会开发的分布式存储和分布式处理框架，广泛应用于大数据处理场景。它以Java编写，可以运行在任何支持Java的操作系统上，但推荐...
Hadoop高可用自动化安装使用Shell脚本
01-18
本文将详细探讨如何通过Shell脚本来实现Hadoop的高可用自动化安装。 首先，我们要理解Hadoop高可用性（HA）的基本概念。Hadoop HA主要涉及到NameNode的HA，即通过部署多个NameNode实例，其中一个作为主NameNode...
hadoop-2.8.1一键搭建脚本和配置文件
11-01
hadoop-2.8.1一键搭建脚本和配置文件说明，快速搭建出分布式集群
HadoopDeployScripts:Hadoop一键部署脚本
05-14
CentOS 7 下的 Hadoop 一键脚本 使用方法 脚本完成的是Hadoop分布式集群配置 包含wordcount例子 (在wordcount文件夹下面) 单机版配置方法请看下面的注意事项 前提条件： 登录用户具有sudo权限（root也可） 具有网络连接 安装了git 如果服务器上没有git，可以把文件复制到服务器上。 使用 sudo yum install git 安装git 运行方式 运行脚本安装 git clone https://github.com/enihsyou/HadoopDeployScripts.git cd HadoopDeployScripts chmod +x hadoop.sh ./hadoop.sh 运行wordcount测试 cd wordcount chmod +x wordcount.sh ./wordcount.sh wordcount 统计性
下载csdn博客的shell脚本
03-10
脚本除了转换为pdf时，依赖了chromium或chrome，其他部分均使用linux基础命令实现，可以在大部分的linux系统上直接运行。
shell下一键安装hadoop
weixin_33717117的博客
08-02 261
     最近在一些论坛上看到hadoop这个文件系统很是热门啊，据说淘宝，google都是采用这个玩意做的分布式的部署和存储，今天有空来玩玩，第一步安装必须解决啊，第一步就是安装JDK，因为hadoop是基于java开发的，说道运行java，不由得很是怀念当初的第一次，第一次知道跑java居然还要设置环境变量，折腾了半天，才搞定，后来开始玩linux了，第一次安装JDK，又是好异常折腾啊，哈哈。...
Hadoop集群环境一键安装脚本
北川Alex的个人博客
04-20 2577
#!/bin/bash # ******************************************************** # * Author : Jason Peng # * Description : Hadoop集群环境一键安装脚本 # * Date : 2019-04-20 # * ********************...
shell脚本下载
weixin_39965184的博客
07-31 1864
经过漫长的尝试终于学会了四行代码 ##在linux下运行 filename="coco2017labels.zip" fileid="1cXZR_ckHki6nddOmcysCuuJFM--T-Q6L" curl -c ./cookie -s -L "https://drive.google.com/uc?export=download&id=${fileid}" > /dev/null #https://drive.google.com/uc?export=download&id=$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMagician

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值