Hive
文章平均质量分 88
寞逍遥
不积跬步,无以至千里
展开
-
Spark和Hadoop MapReduce有什么区别?
很多人认为Spark 将代替 Hadoop MapReduce,成为未来大数据处理发展的方向,MapReduce和Spark之间存在哪些区别?Spark会取代Hadoop吗?大数据技术学习为什么要既要学习Hadoop又要学习Spark?Hadoop MapReduce:一种编程模型,是面向大数据并行处理的计算模型、框架和平台,用于大规模数据集(大于1TB)的并行运算。"Map(映射)"和"Reduce(归约)",是它们的主要思想,MapReduce采用"分而治之"的思想,简单地说,MapRedu转载 2021-05-07 14:57:14 · 1867 阅读 · 0 评论 -
2020-11-20
Hive常用命令Hive中定义变量内置命名空间Hive内置命名空间包含了hivevar、hiveconf、system和env。在Hive中写入hivevar变量hive --define/--hivevar key=value显示变量set env:HOMEset hivevar:keyset key给变量赋值set key=valueset hivevar:key=value在sql语句中调用变量create table table_name(i in原创 2020-11-20 10:41:05 · 444 阅读 · 0 评论 -
Hive文件存储格式(TEXTFILE 、ORC、PARQUET三者的对比)
Hive文件存储格式(TEXTFILE 、ORC、PARQUET三者的对比)综述:HIve的文件存储格式有四种:TEXTFILE、SEQUENCEFILE、ORC、PARQUET,前面两种是行式存储,后面两种是列式存储;所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式,如果指定了A方式,那么在向表中插入数据的时候,将会使用该方式向HDFS中添加相应的数据类型。如果为textfile的文件格式,直接load就OK,不需要走MapReduce;如果是其他的类型就需要走Ma.转载 2020-07-15 15:05:45 · 6839 阅读 · 1 评论 -
Hive记录-hive权限控制
Hive记录-hive权限控制在使用Hive的元数据配置权限之前必须现在hive-site.xml中配置两个参数,配置参数如下:<property> <name>hive.security.authorization.enabled</name> <value>true</value> </property>...转载 2019-10-26 12:41:25 · 369 阅读 · 0 评论