shell脚本快速搭建hadoop单机模式

最新推荐文章于 2022-10-30 14:50:34 发布

运维@小兵

最新推荐文章于 2022-10-30 14:50:34 发布

阅读量449

点赞数 1

分类专栏： Shell 文章标签： hadoop单机模式搭建hadoop hadoop统计词频

本文链接：https://blog.csdn.net/anqixiang/article/details/97614547

版权

Shell 专栏收录该内容

85 篇文章 13 订阅

订阅专栏

函数库：https://blog.csdn.net/anqixiang/article/details/89964048

#!/bin/bash
#AUTHOR:AN
#VERSION:1.1.0
#DATE:2019-07-28
#MODIFY:
#FUNCTION:单机版hadoop
#DESCRIBE:
#NOTICES:


######################定义变量######################
local_dir=`pwd`				#当前目录
function_dir=$local_dir//myfunction.lib

#加载函数库
if [ -f "$function_dir" ];then
 	source $function_dir
else
	echo -e "\033[31m函数库不存在\033[0m"
	exit 71
fi

######################需要更改######################
Hadoop_Version=hadoop-2.7.7				#版本
Install_Dir=/usr/local/hadoop			#安装路径

#安装jdk,配置环境变量
Init(){
	Hadoop_Conf=$Install_Dir/etc/hadoop/hadoop-env.sh		#配置文件
	
	YUM java-1.8.0-openjdk-devel
	[ ! -f /opt/${Hadoop_Version}.tar.gz ] && cecho 31 "/opt/${Hadoop_Version}.tar.gz is not exist!!!"  && exit 71
	CA_TAR /opt/${Hadoop_Version}.tar.gz					#默认解压到/opt目录
	
	chown -R root:root /opt/${Hadoop_Version}				#修改权限
	[ -d ${Install_Dir} ] &&  cecho 31 "${Install_Dir} is exist!!!" && exit 71
	mv /opt/${Hadoop_Version} $Install_Dir
	
	#通过rpm -ql java-1.8.0-openjdk查找java环境路径
	java_home=`rpm -ql java-1.8.0-openjdk |sed -n '1p'`
	java_home=`echo ${java_home%/bin*}`						#JAVA环境路径
	sed -i "25c export JAVA_HOME=${java_home}" $Hadoop_Conf
	sed -ri "33 s#^(.{43})(.*)(..)#\1${Install_Dir}/ect/hadoop\3#" $Hadoop_Conf			#设置配置文件路径
	$Install_Dir/bin/hadoop version && OK hadoop
}
Init
#测试--统计词频
# cd /usr/local/hadoop
# mkdir input
# cp *.txt input/
# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount input output