Hadoop组件单机版——shell脚本一键安装

最新推荐文章于 2021-10-08 08:51:12 发布
最新推荐文章于 2021-10-08 08:51:12 发布
阅读量632 收藏 15
点赞数 1
分类专栏： Shell脚本 文章标签： shell 大数据 安装脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46657040/article/details/109588633
版权

在/opt/下存放安装的各个软件，然后安装到/opt/soft/下
在这里插入图片描述

#! /bin/bash
echo 'full system install begining....'

#global var 
jdk=true
mysql=false
hadoop=true
hive=true
zookeeper=true
hbase=true
sqoop=true
spark=true
flume=false
kafka=false
flink=false

#rpm -qa | grep java 
#rpm -e --nodeps ...

#setup jdk 1.8.111
if [ "$jdk" = true ];then
	mkdir /opt/soft
	echo 'setup jdk 1.8.111'
	tar -zxf /opt/jdk-8u111-linux-x64.tar.gz -C /opt/soft
	mv /opt/soft/jdk1.8.0_111 /opt/soft/jdk180
	echo '#jdk' >> /etc/profile
	echo 'export JAVAHOME=/opt/soft/jdk180' >> /etc/profile
	echo 'export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile
	echo 'export PATH=$JAVAHOME/bin:$PATH' >> /etc/profile
fi

#setup mysql 5.7
if [ "$mysql" = true ];then
	echo 'setup mysql 5.7'
	var1=rpm -qa|grep mariadb
	yum remove -y $var1
	cd /opt/
	wget  http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
	rpm  -ivh mysql-community-release-el7-5.noarch.rpm
	yum -y install mysql-server
	chown -R root:root /var/lib/mysql
	chown root /var/lib/mysql
	systemctl restart mysql
	mysql -h localhost -P3306 -uroot  mysql  --default-character-set=utf8 -e "use mysql;update user set password=password('root') where user='root';grant all on *.* to root@'%' identified by 'root';flush privileges;"
	sed -i '22a\character-set-server=utf8' /etc/my.cnf
	systemctl restart mysql
fi

#setup hadoop260
if [ "$hadoop" = true ];then
	echo 'setup hadoop cdh 5.14.2 - hadoop2.6'
	tar -zxf /opt/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft
	mv /opt/soft/hadoop-2.6.0-cdh5.14.2 /opt/soft/hadoop260
	
	echo "-----------hadoop-env.sh-------------"
	echo "export JAVA_HOME=/opt/soft/jdk180" >> /opt/soft/hadoop260/etc/hadoop/hadoop-env.sh
	
	echo "-----------core-site.xml-------------"
	val1="/opt/soft/hadoop260/etc/hadoop/core-site.xml"
	sed -i '19a\<property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>' $val1
	sed -i '19a\<property><name>hadoop.proxyuser.root.users</name><value>*</value></property>' $val1
	sed -i '19a\<property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop260/tmp</value></property>' $val1
	sed -i "19a\<property><name>fs.defaultFS</name><value>hdfs://hadoop02:9000</value></property>" $val1
	
	echo "-----------hdfs-site.xml-------------"
	val2="/opt/soft/hadoop260/etc/hadoop/hdfs-site.xml"
	sed -i '19a\<property><name>dfs.permissions</name><value>false</value></property>' $val2
	sed -i '19a\<property><name>dfs.replication</name><value>1</value></property>' $val2
	
	echo "-----------mapred-site.xml-------------"
	cp /opt/soft/hadoop260/etc/hadoop/mapred-site.xml.template /opt/soft/hadoop260/etc/hadoop/mapred-site.xml
	val3="/opt/soft/hadoop260/etc/hadoop/mapred-site.xml"
	sed -i '19a\<property><name>mapreduce.framework.name</name><value>yarn</value></property>' $val3
	
	echo "-----------yarn-site.xml-------------"
	val4="/opt/soft/hadoop260/etc/hadoop/yarn-site.xml"
	sed -i '15a\<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>' $val4
	sed -i '15a\<property><name>yarn.resourcemanager.localhost</name><value>localhost</value></property>' $val4
	
	sed -i 's/localhost/hadoop02/g' /opt/soft/hadoop260/etc/hadoop/slaves
	echo '#hadoop' >> /etc/profile
	echo 'export HADOOP_HOME=/opt/soft/hadoop260' >> /etc/profile
	echo 'export HADOOP_MAPRED_HOME=$HADOOP_HOME' >> /etc/profile
	echo 'export HADOOP_COMMON_HOME=$HADOOP_HOME' >> /etc/profile
	echo 'export HADOOP_HDFS_HOME=$HADOOP_HOME' >> /etc/profile
	echo 'export YARN_HOME=$HADOOP_HOME' >> /etc/profile
	echo 'export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native' >> /etc/profile
	echo 'export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile
	echo 'export HADOOP_INSTALL=$HADOOP_HOME' >> /etc/profile
	
	source /etc/profile
	cd /opt/soft/hadoop260/bin
	hadoop namenode -format
	tar -xf /opt/hadoop-native-64-2.6.0.tar -C /opt/soft/hadoop260/lib/native/
fi



#setup hive
if [ "$hive" = true ];then
	echo 'setup hive110'
	tar -zxf /opt/hive-1.1.0-cdh5.14.2.tar.gz -C  /opt/soft/
	mv /opt/soft/hive-1.1.0-cdh5.14.2/ /opt/soft/hive110
	cp /opt/mysql-connector-java-5.1.38.jar /opt/soft/hive110/lib/
	cd /opt/soft/hive110/conf
	echo "配置hive-site.xml文件"
	touch hive-site.xml
	echo "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"no\"?>
	<?xml-stylesheet type=\"text/xsl\" href=\"configuration.xsl\"?>
	<configuration>
		<property>
			<name>hive.metastore.warehouse.dir</name>
			<value>/hive110/warehouse</value>
		</property>
		<property>
			<name>hive.metastore.local</name>
			<value>true</value>
		</property>
		<property>
			<name>javax.jdo.option.ConnectionURL</name>
			<value>jdbc:mysql://hadoop02:3306/hive110?createDatabaseIfNotExist=true</value>
		</property>
		<property>
			<name>javax.jdo.option.ConnectionDriverName</name>
			<value>com.mysql.jdbc.Driver</value>
		</property>
		<property>
			<name>javax.jdo.option.ConnectionUserName</name>
			<value>root</value>
		</property>
		<property>
			<name>javax.jdo.option.ConnectionPassword</name>
			<value>root</value>
		</property>
		<property>
			<name>hive.server2.authentication</name>
			<value>NONE</value>
		</property>
		<property>
			<name>hive.server2.thrift.client.user</name>
			<value>root</value>
		</property>
		<property>
			<name>hive.server2.thrift.client.password</name>
			<value>root</value>
		</property>
	</configuration>" >  /opt/soft/hive110/conf/hive-site.xml

	echo "#hive" >> /etc/profile
	echo 'export HIVE_HOME=/opt/soft/hive110' >> /etc/profile
	echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile
	source /etc/profile
	schematool -dbType mysql -initSchema
	cd /opt
fi

#setup zookeeper
if [ "$zookeeper" = true ];then
	echo 'setup zookeeper'
	tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/soft/
	mv /opt/soft/zookeeper-3.4.5-cdh5.14.2 /opt/soft/zk345
	cp /opt/soft/zk345/conf/zoo_sample.cfg /opt/soft/zk345/conf/zoo.cfg
	mkdir -p /opt/soft/zk345/datas
	sed -i '12c dataDir=/opt/soft/zk345/datas' /opt/soft/zk345/conf/zoo.cfg 
	echo "server.0=$1:2287:3387" >> /opt/soft/zk345/conf/zoo.cfg 
	echo '#zookeeper' >> /etc/profile
	echo 'export ZOOKEEPER_HOME=/opt/soft/zk345' >> /etc/profile
	echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
fi

#setup hbase

if [ "$hbase" = true ];then
	echo 'setup hbase'
	tar -zxf /opt/hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/soft/
	mv /opt/soft/hbase-1.2.0-cdh5.14.2/ /opt/soft/hbase120
	echo "export JAVA_HOME=/opt/soft/jdk180" >> /opt/soft/hbase120/conf/hbase-env.sh
	echo "export HBASE_MANAGES_ZK=false" >> /opt/soft/hbase120/conf/hbase-env.sh

	val5="/opt/soft/hbase120/conf/hbase-site.xml"
	sed -i "23a\<property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property>" $val5
	sed -i "23a\<property><name>hbase.zookeeper.property.dataDir</name><value>/opt/soft/zk345/datas</value></property>" $val5
	sed -i "23a\<property><name>hbase.cluster.distributed</name><value>true</value></property>" $val5
	sed -i "23a\<property><name>hbase.rootdir</name><value>hdfs://hadoop02:9000/hbase</value></property>" $val5
	echo "#hbase" >> /etc/profile
	echo 'export HBASE_HOME=/opt/soft/hbase120' >> /etc/profile
	echo 'export PATH=$HBASE_HOME/bin:$HBASE_HOME/sbin:$PATH' >> /etc/profile
	source /etc/profile
fi

#setup sqoop

if [ "$sqoop" = true ];then
	echo 'setup sqoop'
	tar -zxf /opt/sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/soft/
	mv /opt/soft/sqoop-1.4.6-cdh5.14.2/ /opt/soft/sqoop146
	cp /opt/soft/sqoop146/conf/sqoop-env-template.sh /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export HADOOP_COMMON_HOME=/opt/soft/hadoop260' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export HADOOP_MAPRED_HOME=/opt/soft/hadoop260' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export HIVE_HOME=/opt/soft/hive110' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export HBASE_HOME=/opt/soft/hbase120' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export ZOOCFGDIR=/opt/soft/zk345/conf' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	echo 'export ZOOKEEPER_HOME=/opt/soft/zk345' >> /opt/soft/sqoop146/conf/sqoop-env.sh
	cp /opt/mysql-connector-java-5.1.38.jar /opt/soft/sqoop146/lib/
	cp /opt/java-json.jar /opt/soft/sqoop146/lib/
	cp /opt/soft/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar /opt/soft/sqoop146/lib/
	cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/sqoop146/lib/
	echo '#sqoop' >> /etc/profile
	echo 'export SQOOP_HOME=/opt/soft/sqoop146' >> /etc/profile
	echo 'export PATH=$PATH:$SQOOP_HOME/bin' >> /etc/profile
fi

#setup spark 
if [ "$spark" = true ];then
	echo 'setup spark'
	tar -zxf /opt/spark-2.3.4-bin-hadoop2.6.tgz -C /opt/soft/
	mv /opt/soft/spark-2.3.4-bin-hadoop2.6 /opt/soft/spark234
	cp /opt/soft/spark234/conf/slaves.template /opt/soft/spark234/conf/slaves
	cp /opt/soft/spark234/conf/spark-env.sh.template /opt/soft/spark234/conf/spark-env.sh
	echo "export SPARK_MASTER_HOST=192.168.98.135" >>  /opt/soft/spark234/conf/spark-env.sh
	echo "export SPARK_MASTER_PORT=7077" >>  /opt/soft/spark234/conf/spark-env.sh
	echo "export SPARK_WORKER_CORES=2" >>  /opt/soft/spark234/conf/spark-env.sh
	echo "export SPARK_WORKER_MEMORY=3g" >>  /opt/soft/spark234/conf/spark-env.sh
	echo "export SPARK_MASTER_WEBUI_PORT=8888" >>  /opt/soft/spark234/conf/spark-env.sh
	echo "export JAVA_HOME=/opt/soft/jdk180" >> /opt/soft/spark234/sbin/spark-config.sh
fi

安装完后
在这里插入图片描述

数据孤岛
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop_shell脚本
qq_58243412的博客
03-20 3300
1、什么是shell Shell（外壳） 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 什么是脚本？ 脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。 常见的脚本： JavaScript（JS，前端），VBScript， ASP，JSP，PHP（后端），SQL（数据库操作语言），Perl，She
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
Hadoop自动化安装shell脚本
好读书，每有会意，便欣然忘食。
04-12 1325
之前写过一些如何安装Cloudera Hadoop的文章，安装hadoop过程中，最开始是手动安装apache版本的hadoop，其次是使用Intel的IDH管理界面安装IDH的hadoop，再然后分别手动和通过cloudera manager安装hadoop，也使用bigtop-util yum方式安装过apache的hadoop。 安装过程中参考了很多网上的文章，解压缩过cloudera的c
hadoop 高可用集群一键启动脚本
11-03
hadoop 高可用启动脚本，运行启动zookeeper集群和hadoop ha集群
shell下一键安装hadoop
weixin_33717117的博客
08-02 209
     最近在一些论坛上看到hadoop这个文件系统很是热门啊，据说淘宝，google都是采用这个玩意做的分布式的部署和存储，今天有空来玩玩，第一步安装必须解决啊，第一步就是安装JDK，因为hadoop是基于java开发的，说道运行java，不由得很是怀念当初的第一次，第一次知道跑java居然还要设置环境变量，折腾了半天，才搞定，后来开始玩linux了，第一次安装JDK，又是好异常折腾啊，哈哈。...
hadoop全分布式-脚本一键安装
09-14
本教程将详细讲解如何通过脚本实现Hadoop的一键安装。 首先，Hadoop的安装通常涉及到多个步骤，包括环境配置、JDK的安装、Hadoop的下载与解压、配置文件的修改以及服务的启动等。在"标题"中提到的"全分布式-脚本...
shell脚本一键安装zookeeper3.4.5
06-01
在本案例中，"shell脚本一键安装zookeeper3.4.5"指的是使用一个自定义的shell脚本来简化Apache ZooKeeper 3.4.5的安装过程。Apache ZooKeeper是一个分布式的、开放源码的协调服务，对于分布式应用来说，它提供了诸如...
Hadoop高可用自动化安装使用Shell脚本
01-18
本文将详细探讨如何通过Shell脚本来实现Hadoop的高可用自动化安装。 首先，我们要理解Hadoop高可用性（HA）的基本概念。Hadoop HA主要涉及到NameNode的HA，即通过部署多个NameNode实例，其中一个作为主NameNode...
大数据平台使用搭建脚本一键安装OS
09-30
本文主要介绍了一种通过脚本实现的大数据平台一键安装OS的方法，这能够显著提高安装效率，降低人为错误的可能性。以下是具体的知识点和详细解释： 1. **脚本自动化安装**： 脚本自动化安装是通过编写特定的bash或...
自动化脚本一键安装 jdk，hadoop，hive
最新发布
09-13
自动化脚本一键安装 jdk，hadoop，hive
使用shell脚本一键安装hadoop集群、zookeeper集群并实现高可用
wgyzzzz的博客
07-11 737
文章目录一、修改配置文件二、安装hadoop三、复制虚拟机四、运行五、测试高可用 一、修改配置文件 安装集群的方式基本和单机差不多 先将需要的安装包和shell脚本拖入对应的目录 根据自己主机IP执行 first.sh jdk.sh 安装类型脚本，用一次就删除 rm -rf first.sh rm -rf jdk.sh 然后修改配置文件 注意！！！修改好的配置文件一定要先看一下是不是Unix格式，否则会报很多错误 core-site.xml <?xml version="1.0" encoding="
使用Shell脚本一键部署Hadoop
Niclas的博客
10-24 6599
测试环境 Linux系统版本：CentOS 7 实现功能 1、Java环境一键配置 2、Hadoop单机版一键安装 3、Hadoop伪分布式一键安装 4、Hadoop集群部署 5、伪分布式hadoop初始化 6、集群设置SSH免密登录（使用hadoop用户操作） 脚本说明 部署Hadoop环境过程比较繁琐，还容易出错，写了一个Shell脚本用来一键部署，废话不多说，下面直接上代码。 集群部署的...
一键安装hadoop完全分布式shell脚本
guajidai0165的博客
05-16 1397
#!/bin/bash #配置ES的安装目录 修改的地方1 脚本可以自己创建 ##在windows编写的代码可能运行有问题执行以下 1>vim redisshell.sh 2>:set ff=unix echo -e “请输入hadoop的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install” read esinstallpath #创建ES安装的目录 i...
使用shell脚本一键安装hadoop单机模式
wgyzzzz的博客
07-11 1379
文章目录1、事前准备 资源下载2、准备好虚拟机，安装JDK3、安装hadoop启动hadoop 1、事前准备 资源下载 提取码: tw6j 2、准备好虚拟机，安装JDK 创建虚拟机 创建完虚拟机之后 可以使用first.sh脚本执行一些基本设置 #!/bin/bash #创建虚拟机之后需要做的一些事情 #关防火墙 systemctl stop firewalld systemctl disable firewalld #修改主机名（根据自己需要修改） hostnamectl set-hostname had
Shell编程基础-04-骚气的hadoop生态圈一键安装配置环境脚本
小小鱼
11-29 918
#!/bin/bash #---------------------移除环境变量配置和在software里已安装过的资源-------------- BEGIN=`cat -n /etc/profile|grep done|awk '{print $1}'` #找到环境变量的前一行行号 END=`cat -n /etc/profile|grep "unset i"|awk '{print $1}'` #找到环境变量的后一行行号 RST=$(((--END)-(++BEGIN))) #用来判断这两行之间有
hadoop集群常用shell脚本
YellowXiuHui的博客
03-05 393
1.群发脚本XSync(xsync) #!/bin/bash #1 获取参数，如果不够直接退出 pcount=$# if ((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p...
Hadoop全自动安装脚本
MC_cube的博客
06-24 548
Hadoop全自动安装脚本简介准备工作Java环境网络配置Hadoop安装文件脚本运行脚本命令脚本下载 脚本简介   最近学习了Linux下Hadoop伪分布式安装的方法，在自己手动成功安装后，尝试编写了一个shell脚本来自动完成安装过程。   脚本有些不太完善的地方，且以尽量少修改配置文件为目标编写。有任何问题欢迎指出。   脚本中包括中英文两种语言的提示，英文有部分为机翻，可能不太准确。 准备工作 Java环境   确保已经安装java，已经设置 JAVA_HOME环境变量。 验证：输入 $JAVA_
编写shell脚本——一键启动hadoop集群
A_Little_Fish_的博客
06-12 2130
编写脚本为了方便使用hadoop集群 前提：搭建好一个完整的hadoop集群 创建一个存放脚本的目录 这里创建了一个bin目录来存放脚本文件 [hadoop@node01 ~]$ cd [hadoop@node01 ~]$ mkdir bin [hadoop@node01 ~]$ pwd /home/hadoop [hadoop@node01 ~]$ cd /home/hadoop/bin/ 在node01下创建脚本 脚本内容入下 #!/bin/bash case $1 in "start"
Hadoop-HA 高可用集群搭建
m0_48379126的博客
10-08 411
core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
shell脚本一键安装hadoop
03-16
安装 Hadoop 的 shell 脚本大致包括以下步骤： 1. 下载 Hadoop 安装包 2. 解压安装包 3. 配置环境变量 4. 配置 Hadoop 配置文件 5. 启动 Hadoop 集群 具体的安装步骤和脚本可能因版本不同而有所差异，建议参考官方...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值