hive
文章平均质量分 58
芹菜学长
一个p大点事儿都能发文章的人
展开
-
【Spark】spark使用jdbc连接带有kerberos认证的hive jdbc
使用spark jdbc API 访问带有kerberos的hive jdbc获取数据原创 2023-03-12 21:21:01 · 1867 阅读 · 1 评论 -
Hive 3.0.0 的安装(图文教程)
Hive 2.1 的安装(图文教程)开门见山点进来的大佬们肯定知道这东西干嘛用的,废话不多说,干就完了!安装包准备点击下载Hive 2.1将下载的hive包上传至服务器。解压安装包tar -zxvf apache-hive-2.1.0-bin.tar.gz为了好操作,将解压后的文件夹更改名字 mv apache-hive-2.1.0-bin hive向/etc/profile文件中写入hive的配置参数,命令如下: vim /etc/profile ## 在最下面添加,原创 2021-05-27 02:23:33 · 2188 阅读 · 5 评论 -
Hive的parquet表导入多分区时OOM问题
场景有一个parquet的表table_A,然后创建一个多分区表table_BA表的数据大小大约是1.21G(parquet压缩之后的大小,数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as...原创 2019-05-12 22:14:24 · 868 阅读 · 0 评论 -
[Hive on spark:Second Step]搭建Hive
hive2.3的搭建前提: 集群中已经安装好了hadoop,并且已经启动了hdfs准备工作:hive安装包 hibve历代版本下载地址我这里因为spark的版本需要,我安装了hive2.3安装步骤:1.上传安装包到服务器上,然后解压2. 进入hive的conf目录,编辑hive-site.xml vim hdfs-site.xml内容如下<?xml version=...原创 2019-09-02 17:29:02 · 235 阅读 · 0 评论