在Apache的网站上都有关于Hbase和Hadoop的详细过程,但是我在网站上并没有找到关于Hive的详细配置信息。网站只是说应该该更设置,但是并没有说怎样设置,我只能上网找别的资料,按照找到的资料进行设置,设置成功,先总结如下。
本系统环境:
1、Hadoop 2.8.0
2、Java 1.8
3、Hive 2.1.1
4、MySQL 5.7.19
5、MacOS Sierra 10.12.4
集群模式安装步骤:
1、设置Hive环境变量,这一步骤有些电脑可以省略,比如我用brew下载Hive,但是我没有设置。
2、复制配置文件,并重命名。将hive-env.sh.template,hive-default.xml.template, hive-log4j2.properties.template, hive-exec-log4j2.properties.template依次复制并重命名为hive-env.sh, hive-site.xml, hive-log4j2.properties, hive-exec-log4j2.properties
3、修改hive-env.sh,在该文件中指定Hadoop安装路径。我只配置了HADOOP_HOME和HIVE_CONF_DIR两个参数。
export JAVA_HOME=/opt/java ##Java路径
export HADOOP_HOME=/opt/hadoop ##Hadoop安装路径
export HIVE_HOME=/opt/hive ##Hive安装路径
export HIVE_CONF_DIR=/opt/hive/conf ##Hive配置文件路径
4、创建HDFS目录,在Hive中创建表之前需要创建以下HDFS目录并给它们赋予相应的权限。
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod g+w /user/hive/warehouse
hdfs dfs -chmod g+w /user/hive/tmp
hdfs dfs -chmod g+w /user/hive/log
5、修改hive-site.xml,将hive-site.xml文件中以下几个配置项的值设置成上一步中创建的几个路径。
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
<description>Location of Hive run time structured log file</description>
</property>
Hive Metastore在默认的情况下,Hive的元数据保存在内嵌的Derby数据库里,但是在一般的情况下会使用MySQL来存放Hive元数据。
6、安装好MySQL,下面创建一个hive数据库用来存储Hive的元数据,数据库的用户名为hive,密码依据密码的登记而进行设定。我把密码设置为”hivehivehive”
mysql> CREATE DATABASE hive;
mysql> USE hive;
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hivehivehive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hivehivehive';
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hivehivehive';
mysql> FLUSH PRIVILEGES;
mysql> quit;
7、修改hive-site.xml,配置MySQL数据的连接信息。
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
8、在hive-site.xml配置文件中,我只保存了文件和数据库的配置项,即(5)、(7)中的配置,剩下的配置全部都删除了。在命令行运行hive命令时,需要保证:HDFS已经启动;将MySQL java连接器添加到 $HIVE_HOME/lib 目录下,我使用的是mysql-connector-java-6.0.6-bin.jar。
9、从Hive 2.1版本开始,我们需要运行schematool 命令来执行初始化操作。
schematool -dbType mysql -initSchema
我在这一步,命令运行出错了,是因为MySQL数据库连接信息写错了个地方。
10、在命令行hive
来启动交互环境。
其实上面的这些我都是抄的别的博客(https://my.oschina.net/jackieyeah/blog/735424),照着这篇博客写的去做就行了。
————————————-分隔符—————————————-
最近在实验室里需要重新安装Hive,发现上边的博客上出现了很多错误,现在改正。并将安装过程中出现的错误记录如下:
1、Exception in thread "main" java.lang.RuntimeException: The root scratch dir: /user/hive/temp on HDFS should be writable. Current permissions are: rwxrwxr-x
原因:缺少写权限
解决办法:hdfs dfs -chmod a+w /user/hive/temp
2、Error: Syntax error:Encountered "<EOF>" at line 1, column 64.(state=42X01,code=30000)
、
原因:网上说是安装包自身的问题
解决:更换安装包。
这个问题困扰了我很多天,首先Hive无法读取hive-site.xml里的配置,这个我一直弄不懂,现在想想也有可能是我没有source .profile
,只是有可能。