Hive
不爱研究的研究僧
这个作者很懒,什么都没留下…
展开
-
【Hive】join时的小技巧
join时的小技巧原创 2022-08-09 14:12:06 · 591 阅读 · 0 评论 -
lateral view explode的另一种实现方式
lateral view explode原创 2022-08-08 18:32:12 · 329 阅读 · 0 评论 -
Hive动态分区
1.动态分区作为partition字段的参数是select参数最后一个hive (default)> insert into table dept_partition_dy partition(loc) > select deptno, dname, loc from dept;在hive3里也可以省略partition字段hive (default)> insert into table dept_partition_dy原创 2022-02-26 10:04:14 · 730 阅读 · 0 评论 -
Hive_开窗函数实验注意点
1.数据num id 1 2 3 3 5 6 2.用开窗函数累加第一行至当前行select id,sum(id) over(order by id) from num3.结果红色部分原因:id为3的有两个,到第一个id为3的时候和第二个id为3的时候都是开窗到第二个id为3的地方。...原创 2022-02-20 18:36:00 · 447 阅读 · 0 评论 -
让分区表和数据产生关联的三种方式
如果是自己创建目录,不以正常方式加载数据,则分区表和数据不关联[atguigu@Hadoop102 data]$ hadoop fs -mkdir /user/hive/warehouse/dept_par/day=2020-10-29让分区表和数据产生关联的三种方式 :(1)方式一:上传数据后修复上传数据[atguigu@Hadoop102 data]$ hadoop fs -put dept1.txt /user/hive/warehouse/dept_par/day=2020-原创 2022-02-16 17:42:20 · 695 阅读 · 0 评论 -
union & union all
相同点:两者作用都是结合两表区别:union去重,union all不去重(1)如果需求需要去重,只能选择union(2)如果需求不需要去重,选择union all(3)如果需求本身不存在重复数据,选择union all,因为效果相同,但是效率高...原创 2022-02-15 11:28:03 · 336 阅读 · 0 评论 -
Hive的几个重要表
1.metastore数据库的DBS表包含各表存储信息等2.metastore数据库的TBLS表包含各表是否是外部表等3.metastore数据库的TABLE_PARAMS表查看numFiles、numRows(1)如果是刚建表,numFiles、numRows都为0;(2)用put上传到Hdfs,numFiles、numRows都不变;元数据没变,count(*)不用走MR;(3)用insert,走MR,numFiles、numRows都变;select原创 2022-02-13 11:12:55 · 1730 阅读 · 1 评论 -
使用元数据服务的方式访问 Hive & 使用 JDBC 方式访问 Hive
1.使用元数据服务的方式访问 Hive1)在 hive-site.xml 文件中添加如下配置信息 [atguigu@hadoop102 software]$ vim $HIVE_HOME/conf/hive-site.xml //添加的内容<!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <value>thrift://hadoop10原创 2022-02-09 20:38:27 · 1824 阅读 · 0 评论 -
报错:Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000
报错:Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: atgui原创 2022-02-09 17:19:01 · 4724 阅读 · 0 评论 -
Hive 安装部署&MySQL 安装&Hive 元数据配置到 MySQL
1.安装 Hive1)把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下2)解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2- bin.tar.gz -C /opt/module/ 3)修改 apache-hive-3...原创 2022-02-07 14:59:43 · 2080 阅读 · 0 评论