编写一键安装伪分布式Hadoop的脚本

最新推荐文章于 2024-07-22 11:07:58 发布

不能说的秘密go

最新推荐文章于 2024-07-22 11:07:58 发布

阅读量3.8k

点赞数 2

分类专栏： linux 文章标签： hadoop shell linux

本文链接：https://blog.csdn.net/canot/article/details/50762156

版权

为了帮助同学们解决在Linux虚拟机中安装Hadoop伪分布式环境时遇到的问题，作者编写了一键安装脚本。首先，准备jdk1.7和hadoop2.7的tar.gz文件，将它们放入名为'all'的文件夹并压缩。接着，创建了一个名为'install_hadoop.sh'的shell脚本，用于执行Hadoop的安装步骤。另一个脚本'mkinstall_hadoop.sh'则用于将'all.tar.gz'文件追加到最终的可执行脚本中。运行'mkinstall_hadoop.sh'后，生成的'install_hadoop.bin'文件可分发给同学们，直接运行即可完成Hadoop的安装。

摘要由CSDN通过智能技术生成

学校开设了Hadoop这门课程，第一次上课就是在本机上安装一个伪分布式的Hadoop。班上大多数同学由于之前没有使用过linux系统(安装hadoop他们也是在虚拟机中进行)在安装的过程中出现了各种各样的问题不知道怎么解决。索性我也闲着无聊，就编写了一个一键安装伪分布式Hadoop的shell脚本让同学们使用，让同学在自己的linux系统上运行此脚本即完成安装。

准备资源:

jdk1.7 虽然linux自带了openjdk，但个人还是习惯使用oracle的

hadoop2.7.tar.gz 在Apache上下载

两个包准备好之后,mkdir all 创建一个all的空文件夹，然后把上面两个tar.gz包仍进去。执行 tar -zcvf all.tar.gz all 把all文件夹压缩成all.tar.gz

编写执行安装hadoop过程的一个shell
install_hadoop.

#!/bin/bash
size=0
#最终生成的文件名为install_hadoop.bin而我们的all.tar.gz被>>到该文件后面
tail -c $size  install_hadoop.bin >all.tar.gz
tar -zxf all.tar.gz
cd all
echo "正在安装.请稍等..."
mkdir /usr/local/hadoop
mkdir /usr/local/JDK
tar -zxf hadoop-2.7.0.tar.gz  -C /usr/local/hadoop
tar -zxf jdk-7u79-linux-x64.tar.gz  -C /usr/local/JDK
#设置环境变量
echo export JAVA_HOME=/usr/local/JDK/jdk1.7.0_79 >>/etc/profile
echo export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.0 >> /etc/profile
echo export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.0/bin:/usr/local/hadoop/hadoop-2.7.0/sbin:/usr/local/JDK/jdk1