- 博客(4)
- 收藏
- 关注
RSS订阅原创 hive基本操作
-----------------------------内 容------------------------------//通过降序来筛选单词。建立一个存放不完全相同的词频单词的表格，字段之间是“,”分割。建立一个存放“生词本”单词的表格，字段之间是“.”分割。(6）使用命令进行mapreduce筛选查询。(3）建立新表并查看存在新表与新表结构。(3）建立新表并查看存在新表与新表结构。(1）在本地建立不完全相同的词频文件。(1）在本地新建“生词本”(4）导入数据到表中。(4）导入数据到表中。
2024-05-31 08:53:45
270
原创 hive元数据
PARTITIONS（存储表分区的基本信息） 的PART_ID（分区ID）、SD_ID(分区存储ID )、TBL_ID（表ID）和其他表相关联。表PARTITION_KEYS通过 TBL_ID（表ID ）和TBLS (表的基本信息)TBL_ID（表ID ）进行关联。2表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。PARTITION_KEYS（该表存储分区的字段信息） 的TBL_ID（表ID）和其他表相关联。
2024-05-31 08:51:56
376
原创 查看hive元数据
通过查询元数据，我们可以了解数据表的详细信息，例如数据表的名称、列的名称和类型、分区的信息等。Hive服务和metastore在不同的进程内，可能是不同的机器，该模式需要将hive.metastore.local设置为false，将hive.metastore.uris设置为metastore服务器URL。hive服务和metastore服务运行在同一个进程中，derby服务也运行在该进程中.内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。
2024-05-31 08:50:28
346
原创 hive 高级操作
lead(col,n,DEFAULT) : 统计往后n行的col值，n可选，默认为1，DEFAULT当往下第n行为NULL时候，取默认值，如不指定，则为NULL。lag(col,n,DEFAULT) : 统计往前n行的col值，n可选，默认为1，DEFAULT当往上第n行为NULL时候，取默认值，如不指定，则为NULL。row_number() over() : 排名函数，不会重复，适合于生成主键或者不并列排名。dense_rank() over() : 排名函数，有并列名次，名次连续。
2024-05-31 08:48:28
497
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人