若泽数据-第五次SparkSQL课程总结(一)

最新推荐文章于 2023-07-31 09:39:28 发布

qq_24990561

最新推荐文章于 2023-07-31 09:39:28 发布

阅读量878

点赞数

分类专栏：技术文章标签： SparkSQL

本文链接：https://blog.csdn.net/qq_24990561/article/details/86896072

版权

本次课程回顾了SparkSQL的MataStore，详细讲解了数据库表的层级结构，包括DBS、TBLS、TABLE_PARAMS、CDS、SDS和SERDES等表之间的关联。重点讨论了JOIN操作，特别是如何优化基于ID的连接，以提高性能。

摘要由CSDN通过智能技术生成

一、课程回顾
二、MataStore (配置保存在MySQL中）

1 show databases;

在这里插入图片描述

2 use hive and show tables;

在这里插入图片描述
一般有三十多张表，如上图所示

   3 select * from DBS \G;

在这里插入图片描述
DB_ID:每个表隶属数据库，层级结构

4 SELECT * FROM VERSION \G;

在这里插入图片描述

5 select * from VERSION;

在这里插入图片描述

6 select * from TBLS \G;

*************************** 1. row ***************************
                TBL_ID: 1
           CREATE_TIME: 1491146248
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 1
              TBL_NAME: emp
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    *************************** 2. row ***************************
                TBL_ID: 2
           CREATE_TIME: 1491146253
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 2
              TBL_NAME: dept
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    *************************** 3. row ***************************
                TBL_ID: 6
           CREATE_TIME: 1491150301
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 6
              TBL_NAME: t
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    *************************** 4. row ***************************
                TBL_ID: 16
           CREATE_TIME: 1491293296
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 16
              TBL_NAME: hive_table_1
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    *************************** 5. row ***************************
                TBL_ID: 17
           CREATE_TIME: 1491293488
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 17
              TBL_NAME: hive_table_2
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    *************************** 6. row ***************************
                TBL_ID: 26
           CREATE_TIME: 1546787041
                 DB_ID: 1
      LAST_ACCESS_TIME: 0
                 OWNER: hadoop
             RETENTION: 0
                 SD_ID: 26
              TBL_NAME: dept_partition
              TBL_TYPE: MANAGED_TABLE
    VIEW_EXPANDED_TEXT: NULL
    VIEW_ORIGINAL_TEXT: NULL
    6 rows in set (0.00 sec)

7 select * from TABLE_PARAMS\G ;

mysql> select * from TABLE_PARAMS \G;
*************************** 1. row ***************************
     TBL_ID: 1
  PARAM_KEY: COLUMN_STATS_ACCURATE
PARAM_VALUE: true
*************************** 2. row ***************************
     TBL_ID: 1
  PARAM_KEY: numFiles
PARAM_VALUE: 1
*************************** 3. row **************