Hive(2.1.0)配置过程

最新推荐文章于 2021-01-10 20:53:13 发布

weixin_33725126

最新推荐文章于 2021-01-10 20:53:13 发布

阅读量106

点赞数

文章标签：大数据数据库 java

原文链接：https://my.oschina.net/u/2478308/blog/757486

版权

2019独角兽企业重金招聘Python工程师标准>>>

1、解压hive到hadoop的source目录下

2、配置环境变量

export HIVE_HOME=/usr/local/hadoop/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin

3、配置教程参考地址：http://www.cnblogs.com/bjtu-leefon/p/3170044.html (不能完全参考)

1）更改用户权限。在终端中输入如下命令：

sudo chown -R hadoop:hadoop hive

2）进入hive的conf目录

复制hive-default.xml.template文件两次，将文件名分别更改为，hive-default.xml和hive-site.xml，hive-default.xml为hive默认配置文件，不需要修改，hive-site.xml为用户自定义配置文件，在启动hive时用户自定义修改的部分会覆盖默认配置。

3）在hive的目录下，新建warehouse、tmp、log文件夹。

此时修改hive-site.xml中的对应路径。

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>修改为warehouse文件夹路径（例如：/usr/local/hadoop/hive/warehouse）
   </value>
   <description>location of default database for the warehouse</description>
</property>

<property>
   <name>hive.querylog.location</name>
   <value>修改为log文件夹的路径（例如：/usr/local/hadoop/hive/log）</value>
   <description>
    Location of Hive run time structured log file
   </description>
</property>

<property>
    <name>hive.downloaded.resources.dir</name>
    <value>修改为tmp文件夹的地址（例如：/usr/local/hadoop/hive/tmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
</property>

4）进入hive的conf目录

复制hive-env.sh.template更改名字为hive-env.sh

修改hive-env.sh的内容。

将export HADOOP_HEAPSIZE=1024前面的‘#’去掉，当然可以根据自己的环境对这个默认的1024进行优化；

将export HADOOP_HOME前面的‘#’号去掉，并让它指向所安装hadoop的目录，例如：/usr/local/hadoop

export HIVE_CONF_DIR、export HIVE_AUX_JARS_PATH同理，配置相应路径。

将export HIVE_CONF_DIR=/usr/local/hadoop/hive/conf,并且把‘#’号去掉;

将export HIVE_AUX_JARS_PATH=/usr/local/hadoop/hive/lib,并且把‘#’号去掉。

4、初始化元数据库

本例中将初始化元数据为远程mysql（同时替换内置derby元数据库为mysql）

未初始化数据库会报如下错误：

Exception in thread “main” java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType …) to create the schema.

运行./schematool -initSchema -dbType ...命令初始化元数据

-dbType后跟的相关参可选：derby|mysql|postgres|oracle

derby数据库为hive的内置数据库，不需要修改配置文件，如果使用mysql，需要修改配置文件：

参考教程：http://www.cnblogs.com/linjiqin/archive/2013/03/04/2943025.html

1）新建mysql数据库hivedb,并建立用户hivedb,设置密码

2）修改hive-site.xml中原本为derby的配置项

修改内容如下：

 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://远程mysql服务器IP地址:3306/hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hivedb（mysql用户名）</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hivedb（mysql用户密码）</value>
</property>

3）因为上面配置了com.mysql.jdbc.Driver，所以需要引入mysql-connector-java-5.1.27.jar，将jar包放入hive目录下的lib文件夹中。

4）在进入hive目录下的bin目录，运行命令：./schematool -initSchema -dbType mysql

运行成功，结果如下：