sheel脚本 sentos7环境 hive自动安装

最新推荐文章于 2022-06-18 07:35:57 发布
最新推荐文章于 2022-06-18 07:35:57 发布
阅读量77 收藏
点赞数
分类专栏： 学术 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fljiaoyuxue/article/details/118208066
版权

/opt/download/hiveinstall 中有2个准备好的文件 运行前配置好参数

hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
	<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
	<configuration>
	  <property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost:3306/hive312?createDatabaseIfNotExist=true</value>
		<description>connect to mysql for hive metastore</description>
	  </property>
	  <property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>driver for mysql</description>
	  </property>
	  <property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>username to mysql</description>
	  </property>
	  <property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>12345678</value>
		<description>password to mysql</description>
	  </property>
		<!--关闭权限认证-->
		  <property>
				<name>hive.server2.authentication</name>
				<value>NONE</value>
		  </property>
		  <!--root用户访问放过-->
		  <property>
				<name>hive.server2.thrift.client.user</name>
				<value>root</value>
		  </property>
		  <property>
				<name>hive.server2.thrift.client.password</name>
				<value>root</value>
		  </property>
	</configuration>

到windows系统 的maven文件路径中

maven/repostory/mysql/mysql_connector-java-5.1.1.47 找到此文件
拖拽到 vmware centos环境的 /opt/download/hiveinstall目录 中

./hivefourthinstall.sh

#!/bin/bash

#注意事项 
	#1/opt/download中有apache-hive-3.1.2-bin.tar.gz
	#2/opt/download/hiveinstall 中有2个准备好的文件
							#1/opt/download/hiveinstall/mysql-connector-java-5.1.47.jar
							#2/opt/download/hiveinstall/hive-site.xml
source /etc/profile
ENV_DIR='/etc/profile.d/'
SOFTWARE_DIR='/opt/software/'
DOWNLOAD_DIR='/opt/download/'
HIVE_ENV='#hive;export-HIVE_HOME=/opt/software/hive312;export-PATH=$HIVE_HOME/bin:$PATH'

#删除myenv.sh 文件中的配置内容
function removeIfExists(){
        if [ $# -lt 2 ]
        then
                echo '参数给的太少'
        fi
        sed -rin "/^#.*?$1/,+$2d" $ENV_DIR'myenv.sh'
}   

function addEnv(){
	DIR="$1"
        DIR=${DIR//;/ }
        for item in $DIR
        do
                sed -in '$a'$item $ENV_DIR'myenv.sh'
        done
        sed -in 's/-/ /g' $ENV_DIR'myenv.sh'
        echo 'myenv.sh添加hadoop配置文件信息'
}

RST=`ls $SOFTWARE_DIR|grep hive`
if [[ -z $RST ]]
then
        echo '原机未安装hive'
        tar -zxf $DOWNLOAD_DIR'apache-hive-3.1.2-bin.tar.gz' -C $SOFTWARE_DIR
				mv /opt/software/apache-hive* /opt/software/hive312
        echo '安装完毕'
else
        rm -rf $SOFTWARE_DIR'apache-hive*'
        echo '原机安装过hive'
        tar -zxf $DOWNLOAD_DIR'apache-hive-3.1.2-bin.tar.gz' -C $SOFTWARE_DIR
				mv /opt/software/apache-hive* /opt/software/hive312
        echo '删除原hive 重新安装成功'
fi


RST=`ls $ENV_DIR|grep myenv.sh`
if [[ -z $RST ]]
then
	touch $ENV_DIR'myenv.sh'
	echo '原myenv.sh配置文件不存在,新建完成'
else
	echo '原机存在myenv.sh配置文件'
	removeIfExists hive 2
	echo '原机myenv.sh中的hadoop配置文件信息已删除'
fi

addEnv $HIVE_ENV

mv /opt/software/hive312/conf/hive-default.xml.template hive-default.xml
echo '修改hive-default.xml.template文件成hive-default.xml'
cp /opt/download/hiveinstall/hive-site.xml /opt/software/hive312/conf/

cp /opt/download/hiveinstall/mysql-connector-java-5.1.47.jar /opt/software/hive312/lib
echo 'lib中添加文件mysql-connector-java-5.1.47.jar'
rm -rf /opt/software/hive312/lib/guava-19.0.j*
echo '删除hive312/lib/guava-19.0-jre.jar'
cp /opt/software/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar /opt/software/hive312/lib
echo '复制/hadoop312/share/hadoop/common/lib/guava-27.0
-jre.jar 到/opt/software/hive312/lib'
source /etc/profile
start-all.sh
cd /opt/software/hive312/bin
./schematool -dbType mysql -initSchema

echo '安装完毕可以使用命令挂起服务 也可以使用一键启动脚本开启服务 如下操作
nodup hive --service metastore>/dev/null 2>&1 &
nodup hive --service hiveserver2>/dev/null 2>&1 &
 jps -ml
查看连接端口 没有显示 隔10秒再次测试直到出现红色的10000

netstat -anp|grep 10000
连接hive
beeline -u jdbc:hive2://192.168.75.202:10000
'
cd ~
[root@singlefangliang installsheel]# vim hivefourthinstall.sh 
[root@singlefangliang installsheel]# vim hivefourthinstall.sh 
[root@singlefangliang installsheel]# cat hivefourthinstall.sh 
#!/bin/bash

#注意事项 
	#1/opt/download中有apache-hive-3.1.2-bin.tar.gz
	#2/opt/download中有2个准备好的文件
							#1/opt/download/mysql-connector-java-5.1.47.jar
							#2/opt/download/hive-site.xml
source /etc/profile
ENV_DIR='/etc/profile.d/'
SOFTWARE_DIR='/opt/software/'
DOWNLOAD_DIR='/opt/download/'
HIVE_ENV='#hive;export-HIVE_HOME=/opt/software/hive312;export-PATH=$HIVE_HOME/bin:$PATH'

#删除myenv.sh 文件中的配置内容
function removeIfExists(){
        if [ $# -lt 2 ]
        then
                echo '参数给的太少'
        fi
        sed -rin "/^#.*?$1/,+$2d" $ENV_DIR'myenv.sh'
}   

function addEnv(){
	DIR="$1"
        DIR=${DIR//;/ }
        for item in $DIR
        do
                sed -in '$a'$item $ENV_DIR'myenv.sh'
        done
        sed -in 's/-/ /g' $ENV_DIR'myenv.sh'
        echo 'myenv.sh添加hadoop配置文件信息'
}

RST=`ls $SOFTWARE_DIR|grep hive`
if [[ -z $RST ]]
then
        echo '原机未安装hive'
        tar -zxf $DOWNLOAD_DIR'apache-hive-3.1.2-bin.tar.gz' -C $SOFTWARE_DIR
				mv /opt/software/apache-hive* /opt/software/hive312
        echo '安装完毕'
else
        rm -rf $SOFTWARE_DIR'apache-hive*'
        echo '原机安装过hive'
        tar -zxf $DOWNLOAD_DIR'apache-hive-3.1.2-bin.tar.gz' -C $SOFTWARE_DIR
				mv /opt/software/apache-hive* /opt/software/hive312
        echo '删除原hive 重新安装成功'
fi


RST=`ls $ENV_DIR|grep myenv.sh`
if [[ -z $RST ]]
then
	touch $ENV_DIR'myenv.sh'
	echo '原myenv.sh配置文件不存在,新建完成'
else
	echo '原机存在myenv.sh配置文件'
	removeIfExists hive 2
	echo '原机myenv.sh中的hadoop配置文件信息已删除'
fi

addEnv $HIVE_ENV

mv /opt/software/hive312/conf/hive-default.xml.template hive-default.xml
echo '修改hive-default.xml.template文件成hive-default.xml'
cp /opt/download/hiveinstall/hive-site.xml /opt/software/hive312/conf/

cp /opt/download/hiveinstall/mysql-connector-java-5.1.47.jar /opt/software/hive312/lib
echo 'lib中添加文件mysql-connector-java-5.1.47.jar'
rm -rf /opt/software/hive312/lib/guava-19.0.j*
echo '删除hive312/lib/guava-19.0-jre.jar'
cp /opt/software/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar /opt/software/hive312/lib
echo '复制/hadoop312/share/hadoop/common/lib/guava-27.0
-jre.jar 到/opt/software/hive312/lib'
source /etc/profile
start-all.sh
cd /opt/software/hive312/bin
./schematool -dbType mysql -initSchema

echo '安装完毕可以使用命令挂起服务 也可以使用一键启动脚本开启服务 如下操作
nodup hive --service metastore>/dev/null 2>&1 &
nodup hive --service hiveserver2>/dev/null 2>&1 &
 jps -ml
查看连接端口 没有显示 隔10秒再次测试直到出现红色的10000

netstat -anp|grep 10000
连接hive
beeline -u jdbc:hive2://192.168.75.202:10000
'
cd ~/installsheel
fljiaoyuxue
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive安装详细步骤
tyh1579152915的博客
10-31 2万+
一、下载hive 下载hive——地址：http://mirror.bit.edu.cn/apache/hive/ 二、安装mysql 执行以下几个命令安装mysql su - root yum -y install mysql mysql-server mysql-devel wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5
Hive安装与配置详解
热门推荐
weixin_43861175的博客
05-20 7万+
评论- 6 Hive安装与配置详解 hive安装和配置 hive的测试 hive安装和配置 安装 一：下载hive——地址：http://mirror.bit.edu.cn/apache/hive/ 这里以hive-2.1.1为例子，如图： 将hive解压到/usr/local下： [root@s100 local]# tar -zxvf apache-hive-2.1.1-bin.tar.g...
linux脚本自动安装hive
qq_51903852的博客
11-09 115
将hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.25.jar文件放入/opt/install文件夹下 [root@mihaoyu151 ~]# vi /opt/mysyssh/autoinstall.sh #!/bin/bash hive=true installdir=/opt/soft if [ ! -d "$installdir" ] then mkdir $installdir fi if [ "$hive" = true ] th
Linux下编写脚本自动安装hive
wanjialin的博客
11-09 1838
核心代码： if [ "$hive" = true ]; then echo "----------安装hive----------" #-C 指定目录 tar -zxf /opt/install/hive-1.1.0-cdh5.14.2.tar.gz -C /opt/soft/ #改名 mv /opt/soft/hive-1.1.0-cdh5.14.2 /opt/soft/hive110 #配置环境变量
Hive安装
别这么骄傲
01-05 1708
linux 安装hive 超简单实用，配置最少，简单明了 安装速度最快！！！！基本0报错！！！
sentos7搭建CDH5
time_boy666的博客
02-20 228
1.准备三台虚拟机 PC机配置：win10，32G内存 虚拟机：VMware Workstation CentOS-7-x86_64-DVD-1810.iso 新建三台机器，主节点cm0：内存8G，硬盘35G，两个副节点：内存4G，硬盘35G 主节点我直接安装的图形界面，复制文件的时候比较方便 安装的时候注意，直接选择网络自动连接 2.虚拟机基本配置 卸载openjdk： 查看：...
hive-shell批量命令执行脚本的实现方法
09-15
在上述脚本中，`HADOOP_HOME` 指向Hadoop安装目录，而 `HIVE_HOME` 指向Hive的安装目录。这确保了脚本能够正确地找到所需的可执行文件，如`hadoop`, `hive`等。 接下来，定义一个SQL命令字符串变量 `sql`，在这个...
Linux自动安装Hive（单机，含安装MySQL）（Shell脚本）
12-04
要自己先安装jdk和Hadoop，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，https://download.csdn.net/download/weixin_44033210/12657738，这里有自动安装jdk和Hadoop的脚本
使用shell脚本执行hive、sqoop命令的方法
09-15
### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域，Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析，而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率，简化...
shell中循环调用hive sql 脚本的方法
09-15
在IT行业中，尤其是在大数据处理和自动化任务执行的场景下，Shell脚本与Hive SQL的结合使用非常常见。本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句，以便实现批量处理数据或者执行一系列相关的查询操作。 ...
Hive的安装（超详细）
相当工程师小陈的博客
11-23 8543
Hive的安装模式 嵌入模式：使用内嵌的 Derby数据库存储元数据，这种方式是Hive的默认安装方式，配置简单，但是一次只能连接一个客户端，适合用来测试，不适合生产环境。 本地模式：采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。 远程模式：与本地模式一样，远程模式也是采用外部数据库存储元数据。
Hive的安装、配置与Shell入门操作
sgsgsgwe的博客
06-18 1566
Hive的安装、配置与Shell入门操作一、实验目的与要求目的：理解Hive在Hadoop体系结构中的角色，掌握 Hive 的安装部署及Mysql的安装与配置，掌握Hive Shell的常用命令与非交互式命令。要求：1.在已安装Hadoop的基础上安装配置好Hive并运行 2.在Hive Shell下，根据题目要求创建一个表3.完成实验报告。二、实验内容1. Hive的基本安装2. Mysql的安装与设置3. Hive的设置4. Hive Shell常用命令5.Hive Shell 非交互式运行三
Hive --- 复杂的数据类型、列转行和行转列
99滴神
04-29 1037
一、复杂的数据类型都有哪些呢？ hive中复杂数据类型分为三种，分别是 数组array、键值对map和结构体struct array : col array<基本类型> ,下标从0开始，越界不报错，以NULL代替 map : column map<string,string> struct: col struct 二、数组array的基本操作 1、创建一个表 create table if not exists arr1( name strin...
基于VMware 的 hive安装与启动
fljiaoyuxue的博客
06-09 1120
1将have…jar文件解压到software目录下 tar -zxf have.....jar -C /opt/software 修改文件名 cd /opt/software mv hive3.1.2. hive312 修改默认的文件 cd /opt/software/hive312/conf mv hive-default.xml.template hive-default.xml 在同目录添加hive-site.xml文件 vim /opt/software/hive312/conf/hi
hive命令
fljiaoyuxue的博客
06-25 780
#4、mysql驱动拷贝 在D:\Maven\jar_mgr\apache-maven-3.5.4\repository\mysql\mysql-connector-java\5.1.47找到mysql-connector-java-5.1.47.jar包将其复制到/opt/software/hive312/lib下 #5、初始化 cd /opt/software/hive312 ./schematool -dbType mysql -initSchema #6、启动关闭hive服务 #[后台启动] noh
java实现简单的生成行为日志文件 (一)
fljiaoyuxue的博客
07-01 677
第一步 在windows中创建目录 第二部 写properties 配置信息 log4j.rootLogger=INFO,R log4j.appender.R=org.apache.log4j.RollingFileAppender log4j.appender.R.File=${flume.dir}/prolog.log log4j.appender.R.MaxFileSize=512MB log4j.appender.R.MaxBackupIndex=40 log4j.appender.R.lay
配置本地镜像--配置华为镜像---安装mysql
fljiaoyuxue的博客
06-24 482
查看镜像是否挂载 df -h #本地镜像挂载 mount /dev/sr0 /mnt #配置本地镜像源 cd /etc/yum.repos.d/ #创建备份文件夹，将默认的镜像文件备份至该文件夹 mkdir bak mv *.repo bak/ #创建并编辑本地镜像配置文件 vi base.repo [local] name=local baseurl=file:///mnt gpgcheck=0 enabled=1 安装wget yum -y install wget 设置远程华为镜像 wget -o C
idea操作hadoop
fljiaoyuxue的博客
06-08 477
cd /opt/software tar -zcvf hadoop313.tar.gz sz hadoop313.tar.gz 以管理员身份解压 D:\software\hadoop313 hadoop.dll------>C:\windows\system32 winutils.exe------>D:\software\hadoop313/bin windows中hadoop环境变量配置 HADOOP_HOME D:\software\hadoop313 path %HADO
使用shell脚本编写 自动备份hive表数据根据时间传参
最新发布
05-27
以下是一个简单的shell脚本，用于备份Hive表数据，并根据时间传参： ```shell #!/bin/bash # 设置Hive表名和备份目录 table_name=$1 backup_dir=$2 # 获取当前日期和时间，作为备份文件名的一部分 current_time=$...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值