![](https://img-blog.csdnimg.cn/20191120140534207.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
笨鸟先飞-天道酬勤
程序建造师
展开
-
HIVE 报错semanticexception udf reflect is not allowed
在使用HiveServer2使用hive内置的UDF函数reflect 的时候,提示“semanticexception udf reflect is not allowed”根据字面意思来看,是“reflect”不允许被使用,默认情况下,HiveServer2为了安全,禁用了部分udf函数,可以通过set命令查看set hive.server2.builtin.udf.blacklist;--结果为 hive.server2.builtin.udf.blacklist=reflect,re.原创 2021-03-05 10:56:33 · 3155 阅读 · 3 评论 -
Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy
使用Hive创建一张表,存储类型为orc,压缩类型为“snappy”create table t1(a string,b string)stored as orc tblproperties ("orc.compress"="snappy") ;使用Spark往表里面插入数据的时候报错:Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy解决办法:修改 snappy 为大写原创 2020-10-18 23:41:49 · 666 阅读 · 0 评论 -
apache-hive-2.0.0安装
安装hive安装在hadoop的namenode上,拷贝安装文件到linux中/usr/tools/apache-hive-2.0.0-bin.tar.gz解压:tar –zxvf apache-hive-2.0.0-bin.tar.gz添加到环境变量vi /etc/profile编辑exportHIVE_HOME=/usr/tools/apache-hive-2.0....原创 2016-10-19 16:35:43 · 1363 阅读 · 0 评论 -
Hive UDF UDTF UDAF 函数
1、UDF(时间格式转换)// 1、定义一个类继承UDF,然后添加一个方法,ecaluate,这个方法的参数和返回值类型和函数的输入输出一致// 2、把项目打包成jar,然后放到hive的classpath下,或者add jar// 3、在hive里面新建一个funcation,然后指定到我们新建的类型 create function MyDateParser as'hadoop...原创 2016-10-24 17:47:32 · 648 阅读 · 0 评论 -
spark 启动sql Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
问题:启动Spark时报错 (Hive安装也有可能会出现该问题)Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient将hive.site.xml文件中的<property><name>hive.metastore.schema.verific...原创 2017-08-15 11:42:10 · 2683 阅读 · 0 评论 -
Hive DDL报错For direct MetaStore DB connections, we don’t support retries at the client level.
当在Hive中创建表的时候报错:create table test(name string, addrstring) row format delimited fields terminated by '\t';FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaEx...原创 2018-08-20 11:53:18 · 1820 阅读 · 0 评论 -
Hive SparkSql rank() over,dense_rank() over,row_number() over的使用与区别
一、建表语句create table student( name string, course string, score int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE二、测试数据li shi,Chinese,96wang er,English,71zhang san...原创 2019-01-25 14:49:39 · 1540 阅读 · 0 评论