u012667450的博客

如何优雅使用Hive内置函数在使用Hive时，相信有不少人会对Hive的内置函数比较困惑：到底有哪些内置函数？每个函数怎么用呢？参数如何指定？等等这些问题，在这里将会以最优雅的方式给你解决。进入Hive后，需要查询Hive所有内置函数，输入命令：show functions; 需要查询具体某个函数，比如when的用法，输入命令：desc/describe function when;需要查询具体某个函数，比如whend 详细用法，输入命令：desc/describe function ex

Hive不同引擎&队列1.设置不同的执行引擎1.设置为（mr）MapReduce引擎：set hive.execution.engine=mr;2.设置为tez引擎：set hive.execution.engine=tez;3.设置为spark引擎set hive.execution.engine=spark;注意：Hive1.X没有spark引擎，Hive3.X没有mr引擎，Hive2.X没印象了。2.设置不同引擎下的队列1.如果是默认引擎（mr）MapReduce，那

关于Hive SQL是否走MR任务的总结Hive1.X和Hive2.X的版本，默认情况下，一般都会走MR程序。除了三种情况：1.select * from table_name#select * 的情况不会走MR2.select column1,column2 ... from table_name#select指定字段名的情况不会走MR（where和having除外）3.select * from table_name limit N#select * 限制输出条数不会走MR当然，以上说

解决Hive on Spark与Spark on Hive之间表数据不互通问题问题描述通过Ambari2.7.5安装HDP3.1.5集群后，spark-sql和hive虽然已经实现了整合，无论在hive还是spark-sql都能看到对等的数据；但是如果是在spark-sql下创建的表，则无法在hive下插入数据。反之亦然。如下图所示：从上图可以看到：test1表是spark-sql创建并插入一条数据，可以在hive中查看。但是执行insert时报错。提示：Failed to create Sp

Hive on Spark VS Spark on Hive两者概述Hive on SparkHive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。Hive on spark大体与SparkS