shell脚本快速搭建hadoop单机模式

函数库https://blog.csdn.net/anqixiang/article/details/89964048

#!/bin/bash
#AUTHOR:AN
#VERSION:1.1.0
#DATE:2019-07-28
#MODIFY:
#FUNCTION:单机版hadoop
#DESCRIBE:
#NOTICES:


######################定义变量######################
local_dir=`pwd`				#当前目录
function_dir=$local_dir//myfunction.lib

#加载函数库
if [ -f "$function_dir" ];then
 	source $function_dir
else
	echo -e "\033[31m函数库不存在\033[0m"
	exit 71
fi

######################需要更改######################
Hadoop_Version=hadoop-2.7.7				#版本
Install_Dir=/usr/local/hadoop			#安装路径

#安装jdk,配置环境变量
Init(){
	Hadoop_Conf=$Install_Dir/etc/hadoop/hadoop-env.sh		#配置文件
	
	YUM java-1.8.0-openjdk-devel
	[ ! -f /opt/${Hadoop_Version}.tar.gz ] && cecho 31 "/opt/${Hadoop_Version}.tar.gz is not exist!!!"  && exit 71
	CA_TAR /opt/${Hadoop_Version}.tar.gz					#默认解压到/opt目录
	
	chown -R root:root /opt/${Hadoop_Version}				#修改权限
	[ -d ${Install_Dir} ] &&  cecho 31 "${Install_Dir} is exist!!!" && exit 71
	mv /opt/${Hadoop_Version} $Install_Dir
	
	#通过rpm -ql java-1.8.0-openjdk查找java环境路径
	java_home=`rpm -ql java-1.8.0-openjdk |sed -n '1p'`
	java_home=`echo ${java_home%/bin*}`						#JAVA环境路径
	sed -i "25c export JAVA_HOME=${java_home}" $Hadoop_Conf
	sed -ri "33 s#^(.{43})(.*)(..)#\1${Install_Dir}/ect/hadoop\3#" $Hadoop_Conf			#设置配置文件路径
	$Install_Dir/bin/hadoop version && OK hadoop
}
Init
#测试--统计词频
# cd /usr/local/hadoop
# mkdir input
# cp *.txt input/
# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount input output
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值