hive配置

最新推荐文章于 2023-05-04 19:25:59 发布
最新推荐文章于 2023-05-04 19:25:59 发布
阅读量609 收藏
点赞数
分类专栏： Hive 文章标签： hive 内嵌模式 本地模式 远程模式 mysql安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huahuaxiaoshao/article/details/78004932
版权

一、derby方式

  1. 解压
  2. 配置拷贝hive-default.xml.template到hive-site.xml
  3. 清空配置文件，hive-site.xml
    清空命令是： :.,$-1d
    配置
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
  1. 配置拷贝hive-env.sh.template到hive-env.sh
  2. 修改HADOOP_HOME=配置的hadoo路径
    修改完记得source hive-env.sh
  3. 修改HADOOP_HOME\lib目录下的jline-*.jar 变成HIVE_HOME\lib下的jline-2.12.jar。hadoop和hive版本一致
    Hadoop jar包 路径是：share/hadoop/yarn/lib
  4. 添加环境变量
vi ~/.bash_profile
export HIVE_HOME=/opt/soft/apache-hive-2.1.1-bin
export PATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

修改完记得source ~/.bash_profile
8. 启动hadoop
9. 启动 hive
遇到的问题：
（1）问题一：hadoop未能找到
解决办法：修改hive-env.sh中的HADOOP_HOME
（2）问题二：Unable to instantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
解决方法：./schematool -initSchema -dbType derby
如果失败，记得删除hive目录下的metastor_db，重新输入命令。
二、本地mysql
由于本人使用的centos7，这个系统已经不能直接安装mysql了，需要进行一些操作。这里给出两个安装方法。
方法一：安装mariadb

  1. yum -y install mariadb-server mariadb mariadb-devel
  2. mariadb数据库的相关命令是：
systemctl start mariadb  #启动MariaDB
systemctl stop mariadb  #停止MariaDB
systemctl restart mariadb  #重启MariaDB
systemctl enable mariadb  #设置开机启动

3.systemctl start mariadb

4.mysql -u root –p

5.show databases;

将会出现MariaDB [(none)]>。如果不习惯这种方式，那就看第二种方式。
方法二：官网下载安装mysql-server

  1. 下载mysql的repo源
    wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
  2. 安装mysql-community-release-el7-5.noarch.rpm包
    rpm -ivh mysql-community-release-el7-5.noarch.rpm
    安装这个包后，会获得两个mysql的yum repo源：/etc/yum.repos.d/mysql-community.repo，/etc/yum.repos.d/mysql-community-source.repo。
  3. 安装mysql
    yum -y install mysql-server
    4.mysql一些操作
    重启服务：systemctl restart mysqld.service
    登录：mysql -uroot -p
    登录时有可能报这样的错：ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ ，原因是/var/lib/mysql的访问权限问题。下面的命令把/var/lib/mysql的拥有者改为当前用户：
    sudo chown -R openscanner:openscanner /var/lib/mysql
    重置密码：use mysql;
    update user set password=PASSWORD(‘root’) where user=‘root’;
    删除空的用户
    delete from user where user = ‘’;
    将权限进行写入
    flush privileges;
    select user,host from user;
    这里写图片描述
    %代表所有机器都可以访问
    master代表是只有主机名为master的机器可以访问
    127.0.0.1代表本机访问。
    5.修改hive-site.xml
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
   
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>  
</configuration>
  1. 引入jar包
    需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下。
  2. hive初始化mysql数据库
    ./schematool -initSchema -dbType mysql
    问题一：hive 安装警告 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
    解决办法：在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。
    在配置文件里面：
 <property>
 <name>hive.metastore.local</name>
  <value>false</value>
  <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>

删除掉，再次登录警告就消失了。
问题二：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.*** schemaTool failed ***
解决办法：登录hive所在的mysql数据,执行:grant all on . to “<hive_user>”@"%" identified by “<hive_user_password>”;
8. 启动hive
./hive
进入hive数据仓库，其次就是输入hive的一些指令进行测试。
这里写图片描述

这里写图片描述
三、远端mysql
1.remote一体
这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。
这里用mysql的测试服务器，ip为192.168.1. 14，新建hive_remote数据库，字符集位latine1

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
   
<configuration>  
  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.1.10:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>   
  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.1.10:9083</value>  
</property>  
  
</configuration>  
注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开。

2.remote分开
将hive-site.xml配置文件拆为如下两部分
（1）服务端配置文件

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
   
<configuration>  
  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.1.10:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>  
</configuration>

（2）客户端配置文件

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
   
<configuration>  
  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
   
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  
  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.1.10:9083</value>  
</property>  
 
</configuration>

启动hive服务端程序
hive --service metastore
客户端直接使用hive命令即可
这里写图片描述
查看一下mysql

这里写图片描述

这里写图片描述

听挽风讲大数据
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive的安装配置
ZoeYen_
06-20 290
一、Mysql的安装配置 ①我选择的是在线yun安装 yum install -y mysql-server。 ②启动mysql服务service mysqld start。 ③设置root用户密码，刚安装的服务默认是没有密码的，退出，用新设置的密码登录。 ④创建hive用户，密码hive；赋予所有权；刷新使命令生效。 ⑤退出mysql数据库，使用新建立的hive...
CDH中 hive-site.xml 文件所在位置
weixin_38073361的博客
10-27 4813
记录原因是因为本人最近在调试spark 数据输入到hive中，经常本地调试，但是本地连接远程hive需要远程hive的hive-site.xml文件，CDH中不太好找，记录下来以供大家方便，也给自己做个笔记 登陆CDH控制台 进入hive组件 进入任意一台 Hive Metastore Server 中 选择 “进程” ,其中就有配置文件 hive-site.xml 配置文件 注意：这里的hive连接mysql元数据库的密码为加密方式，如果本地调试，需要更改。 参考连接： cdh版 hive.
Hive的安装配置及原理 完美解决解压hive缺少hive-site.xml文件，和安全模式无法启动hive等问题
iamboluke的博客
12-11 1万+
Hive原理 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工...
hive之入门配置
&volume的博客
05-04 4067
学习hive之路就此开启啦，让我们共同努力。
hive学习笔记
Nickkun的博客
11-13 3620
安装配置 安装hive 下载hive 解压 重命名 添加环境变量 Vi /etc/proflie 使环境变量生效 Source /etc/profile 修改配置文件 cp hive-env.sh.template hive-env.sh Hive Metastore配置 将自带的derby数据库替换为mysql数据库 参考文章https://my.oschina.net/u/4292373/blog/3497563 登录mysql创建新用户 授权 刷新权限 新增hive-site.xml文件
hive 配置文件
03-03
hive 配置文件，包括hive-site.xml与hive-env.sh两个配置文件，可根据自己需要修改
hive配置文件信息修改
07-13
使用hive，hadoop，spark，datax，python，scala修改添加的配置
hive配置相关文件.zip
10-14
适合需要使用到hive环境的人，大致有2.3.7的hive、1.8.0_231的java等
大数据管理与优化——Hive配置文件
06-28
本文件内容适用于学习Hadoop时所需配置Hive的所有文件，包括以下内容： apache-hive-2.0.0-bin.tar.gz ...Hive配置文件收集不易，有部分配置内容已单独复制出来！ 希望大家点个收藏点个赞，谢谢大家！
Hive安装与配置
10-30
Hive安装与配置
hive-site.xml 模板文件
04-02
hive-site.xml hive-site.xmlhive-site.
hive-site.xml
08-25
解决安装hive后，没有hive-site.xml的问题；把这个文件复制到conf的目录下，根据自己的配置更改下里面的部分内容就可以了
Hive---安装与配置
飞机的博客
03-10 459
hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问hive数据的功能，如用户期望在个人电脑中访问远程服务中的hive数据，就需要用到hiveserver2。启动hive时，在命令行添加 -hiveconf param=value来设定参数。hive的meta store服务的作用时为hive cli或者hiveserver2提供元数据访问箭扣。hive不需要搭建集群，相当于Hadoop的一个客户端，通常使用单机就足够了。这样hive的安装就完成了。
hive安装（配置文件hive-site.xml）
qq_53810226的博客
03-29 6715
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node01:33
Hive高手之路：一、hive环境搭建
weixin_46490924的博客
04-03 3057
hive安装+mysql安装+hive远程配置
hive的安装,启动,连接操作(最详细解决方案,直接按着操作即可)
weixin_59295776的博客
09-15 9918
hive的安装 1. 修改 hadoop的 core-site.xml中, 添加以下内容: #修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项:<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>hadoop....
linux查看hive安装目录,Linux下hive安装及测试
weixin_26713059的博客
04-30 1673
前提：提前在linux下安装好了hadoop和mysql并且已经启动。apache-hive-2.1.1-bin.tar.gzmysql-connector-java-5.1.7-bin.jar1、将下载好的apache-hive-2.1.1-bin.tar.gz导入自己新建的hive目录下。2、解压：tar -xzvf apache-hive-2.1.1-bin.tar.gz 3、在/etc/p...
bash: schematool: 未找到命令的解决办法
热门推荐
huicooling的博客
01-26 2万+
初始化hive百度了一下是，输入后报错，如下： [root@cluster-1 conf]# schematool -dbType mysql -initSchema bash: schematool: 未找到命令... 于是我就通过yum命令安装嘛，出错，报错如下： [root@cluster-1 conf]# yum -y install schematool 已加载插件：faste...
Hive安装与配置及常见问题解决
m0_63982362的博客
10-14 2680
对Hadoop系统的hive组件的安装与配置
sparksql hive 配置
最新发布
08-12
要在 Spark SQL 中使用 Hive，您需要进行以下配置： 1. 在 Spark 配置中启用 Hive 支持。在 Spark 的配置文件中（如 spark-defaults.conf 或 spark-env.sh），添加以下配置： ```shell spark.sql....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值