Hive的组成
由MapReduce承担计算层的角色,由HDFS承担存储层的角色;
Hive核心负责解析、执行、优化Hive SQL语句生产对应的MapReduce程序,然后再去执行
另外加一个数据库进行存储Hive的元数据(表信息、表结构、字段信息、字段类型等)
Load与Insert的区别
Insert语句
Insert into table table_name values(xx, yy, zz);
通过Insert语句插入语句,需要去进行SQL语法的解释,分析,优化成对应的MapReduce的代码程序,再通过执行MapReduce程序去进行插入语句,这个过程需要调用集群进行分配资源并计算。
Load语句
load data [local] input ‘/xxx/xxx’ into table TEST;
本质就是将(本地)文件上传或移动到HDFS中对应表的存储位置。
注⚠️:文件的格式必须与Hive对应表有相同的格式。(相同的格式指:使用与表指定的相同分隔符进行分割数据)
因为Hive是读时检查的,所以也可以传入与对应表不同格式的数据文件进去,但是查询识别不出来的数据段会因为识别不出来而变为NULL。