Spark
笨鸟先飞-天道酬勤
程序建造师
展开
-
Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy
使用Hive创建一张表,存储类型为orc,压缩类型为“snappy”create table t1(a string,b string)stored as orc tblproperties ("orc.compress"="snappy") ;使用Spark往表里面插入数据的时候报错:Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy解决办法:修改 snappy 为大写原创 2020-10-18 23:41:49 · 704 阅读 · 0 评论 -
spark 启动sql Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
问题:启动Spark时报错 (Hive安装也有可能会出现该问题)Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient将hive.site.xml文件中的<property><name>hive.metastore.schema.verific...原创 2017-08-15 11:42:10 · 2694 阅读 · 0 评论 -
Saprk 报错java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
17/08/25 18:35:42 WARN scheduler.TaskSetManager: Lost task 1.1 in stage 176.0 (TID 25544, 192.168.3.20, executor 290): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE at sun...原创 2017-08-25 22:46:48 · 9116 阅读 · 1 评论 -
Spark 使用Phoenix往HBase插入数据报错 PhoenixOutputFormat not found
集群版本:cdh5.8Phoenix版本:4.7.0项目依赖管理:Maven描述: 在工作中,需要使用Phoenix往HBase写数据,但是调试的时候出现问题17/06/12 09:35:46 ERROR kerberos.SaveAsPhoenixApp$: save to phoenix error :java.lang.RuntimeException: jav...原创 2018-07-27 18:42:34 · 1284 阅读 · 0 评论