本文介绍了使用Hive进行数据处理的方法，包括通过Beeline访问Hive，创建内外部表的语法，以及分区、桶的概念。还探讨了Hive与MySQL的关系、Hive的数据存储位置、元数据管理模式以及Hadoop集群中的节点角色。此外，文章提到了Hive的表分类，删除操作的区别，并详细解释了HDFS的元数据管理，包括NameNode的角色、fsImage和edits.log的合并过程。
访问hive的另外一种方法：进入到apache-hve-2.3.2-bin.tar/bin目录下
复制一个ssh通道，在输入 ./beeline -u jdbc:hive2:// 注：第一次启动hive2和修改文件后进去需要输入hiveserve2，不然可直接输入./beeline -u jdbc:hive2://命令进入。
在jupyter里写SQL语句格式：spark.sql("SQL语句")
hive 语法（创建一个表）：设计分区，有内表和外表
CREATE [TEMPORARY] [EXTERNAL]（加上这个就是外表） TABLE [IF NOT EXISTS]（如果不存在我就去创建）
[db_name.]（如果不写数据库名，默认当前数据库）table_name
[(col_name data_type[COMMENT col_comment],…[constraint_specification])]
[COMMENT table_c
最低0.47元/天 解锁文章
扫一扫
4092
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
