linux上 hive安装步骤

最新推荐文章于 2022-11-04 20:59:36 发布

了尘自无心

最新推荐文章于 2022-11-04 20:59:36 发布

阅读量233

点赞数

本文链接：https://blog.csdn.net/ADCadc123456789/article/details/103578499

版权

Hive安装地址
1．Hive官网地址
http://hive.apache.org/
2．文档查看地址
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3．下载地址
http://archive.apache.org/dist/hive/
4．github地址
https://github.com/apache/hive

1．Hive安装及配置
（1）把apache-hive-1.2.2-bin.tar.gz上传到linux的/opt/software目录下
（2）解压apache-hive-1.2.2-bin.tar.gz到/opt/module/目录下面
[ admin@hadoop102 software]$ tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/module/
（3）软连接apache-hive-1.2.2-bin.tar.gz的名称为hive
ln -s apache-hive-1.2.2 hive
（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
[ admin@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh
（5）配置hive-env.sh文件
（a）配置HADOOP_HOME路径
export HADOOP_HOME=/opt/module/hadoop-2.7.7
（b）配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive/conf

（1）必须启动hdfs和yarn
[ admin@hadoop102 hadoop-2.7.7]$ sbin/start-dfs.sh
[ admin@hadoop103 hadoop-2.7.7]$ sbin/start-yarn.sh
（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写
[ admin@hadoop102 hadoop-2.7.7]$ bin/hadoop fs -mkdir /tmp
[ admin@hadoop102 hadoop-2.7.7]$ bin/hadoop fs -mkdir -p /user/hive/warehouse

[ admin@hadoop102 hadoop-2.7.7]$ bin/hadoop fs -chmod g+w /tmp
[ admin@hadoop102 hadoop-2.7.7]$ bin/hadoop fs -chmod g+w /user/hive/warehouse

Hive元数据配置到MySql
MySQL驱动放置到hive lib下
mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/
[root@hadoop102 mysql-connector-java-5.1.47]# cp mysql-connector-java-5.1.47-bin.jar
/opt/module/hive/lib/

hive/conf目录下创建一个hive-site.xml
[ admin@hadoop102 conf]$ touch hive-site.xml
[ admin@hadoop102 conf]$ vi hive-site.xml
2．根据官方文档配置参数，拷贝数据到hive-site.xml文件中
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> javax.jdo.option.ConnectionURL jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true&useSSL=false JDBC connect string for a JDBC metastore

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>admin</value>       //liunx上mysql远程连接的设置的账户
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>admin</value>  //liunx上mysql远程连接设置的登陆密码
  <description>password to use against metastore database</description>
</property>

Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore;
初始化
hive]$bin/schematool -initSchema -dbType mysql

配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群

打开多个窗口，分别启动hive
[ admin@hadoop102 hive]$ bin/hive

安全伪装机制引入超级代理
hadoop目录下etc/hadoop/core-site.xml加入配置：

hadoop.proxyuser.admin77.hosts * hadoop.proxyuser.admin77.groups * etc/hadoop/hdfs-site.xml中加入配置： dfs.webhdfs.enabled true

Hive数据仓库位置配置
1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。
2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。
3）修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。

hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse

配置同组用户有执行权限
bin/hdfs dfs -chmod g+w /user/hive/warehouse //上文已经执行过

查询后信息显示配置
1）在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。

hive.cli.print.header
true

hive.cli.print.current.db true

Hive运行日志信息配置
1．Hive的log默认存放在/tmp/ admin/hive.log目录下（当前用户名下）
2．修改hive的log存放日志到/opt/module/hive/logs
（1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为
hive-log4j.properties
[ admin@hadoop102 conf]$ pwd
/opt/module/hive/conf
[ admin@hadoop102 conf]$ mv hive-log4j.properties.template hive-log4j.properties
（2）在hive-log4j.properties文件中修改log存放位置
hive.log.dir=/usr/local/admin//hive/logs