环境:
centos7.8
jdk8
hadoop3.1.3
mysql 8
一、安装java(jdk1.8)
下载java8
解压 tar -zxvf 文件名
配置Java环境变量
#vi /etc/profile
export JAVA_HOME=/opt/soft/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
使环境变量生效
source /etc/profile
检查地址是否合适
echo $JAVA_home
检验java是否安装成功
java -version
二、安装hadoop
下载hadoop
解压安装
tar -zxvf hadoop文件名
配置hadoop环境变量
vi /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
使环境变量生效
source /etc/profile
检查是否安成功
hadoop version
三、安装mysql
参考另一篇文章
四、安装Hive
下载hive安装包(官网)
解压(tar -zxvf)
修改环境变量
#vi /etc/profile
对配置文件进行修改,在文件末尾添加以下内容:
#hive environment
HIVE_HOME=/opt/soft/hive
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH
#source /etc/profile(使环境生效)
echo $HIVE_HOME #查看路径是否正确
2.复制备份文件(/opt/soft/hive/conf)
cd ~/hive/apache-hive-2.1.1-bin/conf
cp hive-env.sh.template hive-env.sh
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
cp hive-default.xml.template hive-site.xml
3. 配置文件(opt/soft/hive/conf/hive-env.sh)
HADOOP_HOME=/opt/soft/hive
export HIVE_CONF_DIR=/opt/soft/hive/conf
export HIVE_AUX_JARS_PATH=/opt/soft/hive/lib
4. 启动hadoop(hdfs)
start-all.sh
jps
5.在HDFS中创建Hive的临时文件
hadoop fs -mkdir -p /user/hive/tmp #在HDFS中创建Hive的临时文件目录tmp
hadoop fs -mkdir -p /user/hive/warehouse #~~创建Hive的数据存储目录warehourse
hadoop fs -mkdir -p /user/hive/log #~~创建Hive的日志文件目录log
#添加三个目录的用户组写权限
hadoop fs -chmod 777 /user/hive/tmp
hadoop fs -chmod 777 /user/hive/warehourse
hadoop fs -chmod 777 /user/hive/log
修改配置文件(hive-site.xml)
#找到Name修改value的值
<configuration>
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<!-- 指定Hive的数据存储目录,需要是位于HDFS上的目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
<description>Location of Hive run time structured log file</description>
</property>
</configuration>
#小技巧
1."/关键字"可直接进行搜索;
2.":set nu"可展示行数;
3.":行数"可直接跳转到所需行
7.创建hive源数据数据库
mysql -u root -p
CREATE DATABASE hive;(创建数据库hive)
USE hive;(切换到新创建的hive数据库)
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';(创建数据库用户hive)
GRANT ALL ON hive.* TO 'hive'@'%';(设置hive数据库的访问权限,hive用户拥有所有操作权限并支持远程访问)
FLUSH PRIVILEGES;(刷新数据库权限信息)
show databases;
quit;(退出MySQL数据库控制台)
8.修改配置文件(hive-site.xml)
#<value>中的值是需要修改的
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>#hive的数据库名(在mysql中创建)
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Hive-123</value>#hive数据库的密码
</property>
9.上传文件(.jar包)
MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传至hive的lib目录下
cp /opt/soft/mysql-connector-java-5.1.42-bin-jar /opt/soft/hive/lib
修改配置文件(hive-site.xml)
在编辑器中使用快捷键“:”进入到编辑器的命令模式,也称为末行模式,然后使用命令“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”
以及“%s#${system:user.name}#${user.name}#g”
替换掉配置文件中的原有配置内容。
11.Hive初始化
schematool -initSchema -dbType mysql
启动Hive
#hive
>show databases;
>show functions;
>quit;