5.4.0Spark和Hive集成(Derby)

原创 2018年04月17日 10:28:40

Spark和Hive集成(Derby)

一、      更改Hive安装目录conf下的hive-site.xml文件

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
    <description>Thrift URI for theremote metastore. Used by metastore client to connect to remotemetastore.</description>
</property>

二、      将hive-site.xml文件拷贝到spark安装目录conf下

cp hive-site.xml/usr/spark/spark-2.1.1/conf/

三、      启动元数据

        启动会卡住。不知道什么原因。。。不过不影响整合。

四、      查看进程

        有一个RunJar

五、      如果没有启动元数据启动spark-sql会报错

六、      在hive安装目录的bin目录下启动spark-sql测试

        启动成功:

七、      测试查询

show tables;

select * from test;

八、      启动spark-shell

九、      使用spark-shell查询


        1.     增加数据


        更新操作,hive默认只支持INSERT,不支持UPDATE DELETE


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Simon_09010817/article/details/79970925

大数据第三季--Hive(day1)

-
  • 1970年01月01日 08:00

Hive配置使用derby

安装配置hive只需要设置hive的环境变量,然后拷贝一份hive-site.xml文件。 默认的配置使用derby这个数据库,只要使用bin/hive启动。 出现了2个错误。 第一个是说我没有权限创...
  • u011686226
  • u011686226
  • 2016-07-21 09:00:54
  • 1911

<Hadoop>Hive (derby) 安装

#因为Hive只是做SQL和MapReduce转换,并且把元数据存在mysql #所以只需要在主节点配置一个Hive即可,适用于单节点也适用于集群 1.停止所有hadoop服务 ...
  • awsxsa
  • awsxsa
  • 2016-06-08 22:36:25
  • 2017

Hive本地配置方案(内嵌Derby数据库)

1.下载hive并解压相应目录。(以1.2.1版本为例)  2.配置环境变量    (1)添加Java变量:          export JAVA_HOME=/usr/soft/jdk1...
  • Coder_XiaoHui
  • Coder_XiaoHui
  • 2016-04-24 23:53:56
  • 951

hive与derby的安装

下载derby解压 cd db-derby-10.10.1.1-bin cp ./derbyclient.jar ~/hive-current/lib/ cp ./derbytools.jar ...
  • u013571243
  • u013571243
  • 2015-09-28 15:33:57
  • 1050

配置Hive使用嵌入式derby或客服模式derby方法

一、环境Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6二、使用目的1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都...
  • linuxchyu
  • linuxchyu
  • 2013-11-27 14:03:07
  • 878

Hive安装—本地derby模式

1. 解压缩 tar -zxvf apach-hive-1.2.1-bin.tar.gz 2. 进入解压的hive目录 cd apache-hive-1.2.1-bin 3.编译配置文件 cd...
  • u013063153
  • u013063153
  • 2017-07-01 12:32:42
  • 573

1002-将Hive的默认数据库Derby改为MySQL

mysql安装,hive默认元数据存储derby,hive元数据存储mysql,mysql中查询hive相关数据...
  • shenfuli
  • shenfuli
  • 2015-06-01 01:13:12
  • 1604

Hive Using Derby in Server Mode(用Derby配置Hive的metastore——服务器模式)

为什么要配置Derby的服务器模式呢? 答案如下: 官方文档的一段话:Hive in embedded mode has a limitation of one active user at a ti...
  • xuejingfu1
  • xuejingfu1
  • 2016-08-25 20:19:17
  • 414

hive修改默认元数据存储数据库derby改为mysql

进入mysqlmysql -uroot -p //默认没有密码为hive建立相应的用户以及密码 CREATE USER 'hive' IDENTIFIED BY 'mysql';授权hive用户访问权...
  • qq_26479655
  • qq_26479655
  • 2016-08-19 16:43:38
  • 2994
收藏助手
不良信息举报
您举报文章:5.4.0Spark和Hive集成(Derby)
举报原因:
原因补充:

(最多只允许输入30个字)