![](https://img-blog.csdnimg.cn/2021080211412622.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
hive学习记录
Lynn Gin
这个作者很懒,什么都没留下…
展开
-
Hive 服务管理脚本
【代码】Hive 服务管理脚本。原创 2023-08-29 10:53:28 · 458 阅读 · 0 评论 -
在 docker 中快速启动 Apache Hive
在伪分布式模式下,在Docker容器内运行Apache Hive,可以提供以下功能:快速启动/调试/为Hive准备测试环境。原创 2023-08-14 19:18:53 · 2460 阅读 · 0 评论 -
Hive数据类型
hive 的数据类型简述原创 2022-08-13 10:09:00 · 488 阅读 · 0 评论 -
SQL 行转列, 列转行, Rank()
SQL 行转列, 列转行, Rank()行转列concat( string A/col, string B/col … )返回输入字符串连接后结果concat_ws( separator, str1, str2, … )separator:分隔符concat_set( col )将某字段的值进行去重 汇总,产生 Array 类型字段。eg:CONCAT_WS("|",collect_set(t1.name))列转行expload( col )将 hive 一列中复杂的 Array 或原创 2021-08-10 11:13:30 · 223 阅读 · 0 评论 -
Spark 写数据到 hive 分区表
思路RDD => Dataset => create partition table => create temp table ( Dataset ) =>insert代码奉上import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SaveMode, SparkSession}object Test01 { def m原创 2021-08-09 17:09:23 · 976 阅读 · 0 评论 -
Hive 数据加载的 5 种方式
hive 数据加载原创 2021-08-09 16:20:23 · 471 阅读 · 0 评论 -
hive内嵌模式搭建
一, hive安装解压安装包 # tar -zxvf apache-hive-2.3.7-bin配置环境变量 # vi /etc/proifile将以下内容添加进去# 配置Hive的安装目录 export HIVE_HOME=/root/software/apache-hive-2.3.4-bin # 在原PATH的基础上加入Hive的bin目录 export PATH=$PATH:$HIVE_HOME/bin使环境变量生效 # source /etc/profile输入#原创 2020-06-19 15:07:05 · 475 阅读 · 0 评论 -
hive远程模式搭建
环境要求:三台centos7主机:master 192.168.200.128(hive客户端)slave1 192.168.200.129 (hive服务端)slave2 192.168.200.130 (MySQL数据库存储metastore元数据)都要求已经安装 jdk,hadoop部署mysql服务(slave2)参考centos7部署 mysql部署hive服务端(slave1)解压hive文件# tar -zxvf apache-hive-2.3.7-bin配原创 2020-06-26 17:23:16 · 1838 阅读 · 0 评论 -
hive本地模式搭建(mysql作为元数据库)
一,安装mysql实现远程登录(授权法)参考连接二,hive安装部署 参考连接1. 解压安装包# tar -zxvf apache-hive-2.3.4-bin.tar.gz3. 配置环境变量1.# vim /etc/profile**添加以下内容:2.# 配置Hive的安装目录 export HIVE_HOME=/root/software/apache-hive-2.3.4-bin# 在原PATH的基础上加入Hive的bin目录export PATH=$PATH:$HIVE原创 2020-06-19 15:29:36 · 612 阅读 · 0 评论