![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
mischen520
JAVA高级架构师
展开
-
Sqoop底层运行的任务是什么
只有Map阶段,没有Reduce阶段的任务。默认是4个MapTask。原创 2021-08-08 09:31:48 · 712 阅读 · 0 评论 -
Sqoop导入导出Null存储一致性问题
Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。 ...原创 2021-08-08 09:29:49 · 671 阅读 · 0 评论 -
Hive和数据库比较
Hive和数据库除了拥有类似的查询语言,再无类似之处。 1)数据存储位置 Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。 2)数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的, 3)执行延迟 Hive执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优势。 4)数据规模 Hive支持很大规模的数据计算;数据库可以支持的数据规模较小。...原创 2021-06-17 06:26:19 · 197 阅读 · 0 评论 -
什么是Hive
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 ...原创 2019-07-28 15:20:09 · 117 阅读 · 0 评论