![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
斯特兰奇
这个作者很懒,什么都没留下…
展开
-
hive执行sql语句报错“Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
hive执行sql语句报错“Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在安装了hive的节点上用如下命令启动 metastore 服务:# 后台启动 metastore 服务器端,默认使用 9083 端口nohup hive --service metastore &# 或者使用指定的端口号:nohup hive --service metastore -p原创 2021-10-01 01:22:15 · 1245 阅读 · 0 评论 -
启动hive报错:ls: 无法访问/opt/module/spark-yarn/lib/spark-assembly-*.jar: 没有那个文件或目录
spark-2.1.1-bin-hadoop2.7.tgz和apache-hive-1.2.1-bin.tar.gz 环境中spark-yarn下每次进行hive --service metastore启动的时候,总是会报一个小BUG。无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。而这一行究竟是怎么回事,网上没有任何有关的资料。没办法,只好一步一步分析,终于找到问题的症结。其主要的..原创 2021-09-02 17:23:51 · 922 阅读 · 0 评论 -
hive中的order by ,sort by ,distribute by,cluster by的用法与区别
一、order by order by后面不跟limit的话,order by会强制将reduce number设置成1,不加limit,会将所有数据sink到reduce端来做全局排序。多个reducer无法保证全局有序,但是因为只有一个reducer,就导致当输入数据规模较大时,需要较长计算时间。为了避免大规模时间全局排序的发射,可以设置如下参数:set hive.mapred.m...原创 2020-04-03 01:31:21 · 422 阅读 · 0 评论 -
hiveq sql语句的三种执行方式
hive脚本的三种执行方式1.hive控制台交互式执行;2.hive -e "SQL"执行;或者hive -S-e "sql" ,加了-S表示静音模式,即不会显示mapreduce的操作过程。这种方式直接在bash shell终端里边输入hive -e "SQL"执行即可,不需要进入hive交互式界面,并且hql语句可以用单引号或者双引号括起来都行,语句末尾可以没有;号...原创 2020-04-02 16:21:16 · 2655 阅读 · 0 评论 -
hive查询语句中的常见错误
1、case when --else end 语句中忘记写end,或者忘记把整个字句用as起别名,因为一个字段如果用case when条件语句计算后就是已经生成新的字段了,不能再用以前的字段名称。例如:原来的字段是age,他的值是连续的int,case when后变成一个值域为‘’20岁以下‘’,‘’20-30岁‘’,‘’30-40岁‘’,‘’40岁以上‘’的新字段了。2、没有对union...原创 2020-04-01 01:03:58 · 803 阅读 · 0 评论 -
hive中的group by分组查询注意和其他其他传统关系数据库sql的区别
顾名思义就是按照指定的一个或者多个字段就行分组查询,返回每个组的相关值,group by时常与聚合函数结合使用,这里需要注意的是,1、在hive中, 一旦有group by子句,那么,在select子句中只能有 分组字段,聚合函数以及值是唯一的字段。否则会提示Expression not in GROUP BY key '不应该在select中的字段名'。想想,如果一个字段的值的水平不止...原创 2020-03-31 23:54:02 · 2142 阅读 · 0 评论 -
Hive 中数据仓库默认位置配置及库表关系
1、原始位置的默认配置hive中的Default(默认)数据仓库的最原始位置是在hdfs上的 /user/hive/warehouse(以下默认Hive的HDFS根目录为/user/hive)路径下,这个原始位置是hive-default.xml.template文件默认配置的,2、库表关系1)默认情况下:在hdfs目录下,没有对默认的数据库default创建文件夹。如果某张表属于...原创 2020-03-30 13:49:59 · 8450 阅读 · 0 评论 -
spark下启动hive常遇到的3个坑
第一个错误,终端输入hive报以下错误解决方法:将/usr/local/hive/conf/hive-site.xml配置文件第一行<?xmlversion="1.0"encoding="UTF-8"standalone="no"?>中的encoding="UTF-8"standalone="no"删除,不再报错,但是会不会引起其他不良影响暂时没发现,后续发现再补充。第二个...原创 2020-03-24 16:41:39 · 861 阅读 · 0 评论