报错
关注
分享
扫一扫
胖胖学编程
这个作者很懒，什么都没留下…
展开
-
hive报错File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_.jhist
设置了hive metastore高可用，但未启动zookeeper!无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了。原创 2023-11-07 16:59:24 · 1116 阅读 · 0 评论 -
[hive]hive不允许分区字段为中文或特殊字段
【代码】[hive]hive不允许分区字段为中文或特殊字段。原创 2023-09-25 12:14:00 · 533 阅读 · 0 评论 -
[hive]报错:Caused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
我自己的项目产生的原因是由于“3.版本不匹配”问题导致的。经过排查“ mysql-connector-java.jar ”包 5XX开始的版本路径是：“com.mysql.jdbc.Driver”，而6XX及以上开始的版本路径是：“com.mysql.cj.jdbc.Driver”。但是还是报Caused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver。装元数据的mysql版本不用管，不用重装mysql。原创 2023-09-15 16:49:21 · 572 阅读 · 0 评论 -
[flink]报错
Caused by: java.lang.ClassNotFoundException:org.apache.flink.streaming.api.scala.StreamExecutionEnvironment$Caused by: java.lang.ClassNotFoundException: org.apache.commons.compress.compressors.zstandard.ZstdCompressorInputStream原创 2023-03-06 17:25:06 · 390 阅读 · 0 评论 -
[报错]hive Caused by: java.lang.OutOfMemoryError: Java heap space
hive Caused by: java.lang.OutOfMemoryError: Java heap space原创 2023-03-01 08:39:37 · 363 阅读 · 0 评论 -
[hive]hive count(*)=0但是select *有数据
当设置hive.compute.query.using.stats=true时,hive在执行某些查询时，例如select count()，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。这是一个CBO(基于成本的优化)的设置。原创 2023-02-06 10:44:14 · 549 阅读 · 0 评论 -
[报错]hive No files matching path file:
Hive不能加载以_为开头的文件名。原创 2023-01-30 15:21:36 · 1104 阅读 · 0 评论 -
Could not transfer artifact org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT from/to public-snapshots
Could not transfer artifact org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT from/to public-snapshots (http://public-snapshots): Transfer failed for http://public-snapshots/org/glassfish/javax.el/3.0.1-b06-SNAPSHOT/javax.el-3.0.1-b06-SNAPSHOT.pom原创 2022-08-12 11:14:36 · 2706 阅读 · 0 评论 -
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException)
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException)原创 2022-08-09 11:16:40 · 780 阅读 · 0 评论 -
[报错]Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning(没用)
Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning原创 2022-08-09 11:17:55 · 880 阅读 · 0 评论 -
Caused by: java.net.ConnectException: Call From hadoop1/192.168.1.201 to hadoop1:8020 failed on conn
Caused by: java.net.ConnectException: Call From hadoop1/192.168.1.201 to hadoop1:8020 failed on conn原创 2022-07-27 11:12:16 · 2302 阅读 · 0 评论 -
[报错]使用ssh登陆到另一台机器后,发现主机名还是自己|无法访问yarn8088
使用ssh登陆到另一台机器后,发现主机名还是自己原创 2022-07-27 10:33:26 · 381 阅读 · 1 评论 -
[linux]ssh免密登陆到别的节点但是登录本节点还要输入密码
ssh免密登陆到别的节点但是登录本节点还要输入密码原创 2022-07-14 16:02:25 · 409 阅读 · 0 评论 -
[报错]用hiveserver2查询出现错误
ERROR : Job Submission failed with exception org.apache.hadoop.security.AccessControlException(Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":hadoop:supergroup:drwxrwx---原创 2022-07-14 15:59:25 · 595 阅读 · 0 评论 -
[hadoop]安装hadoop.ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.原创 2022-07-05 10:43:53 · 375 阅读 · 0 评论 -
[报错]could not find artifact eigenbase:eigenbase-properties:pom:1.1.4 in cloudera
could not find artifact eigenbase:eigenbase-properties:pom:1.1.4 in cloudera原创 2022-06-06 14:17:16 · 1976 阅读 · 0 评论 -
[hive]hive在写SQL中出现分号，分号要\；转义\；
1、报错2、转义后原创 2022-05-09 14:53:24 · 2386 阅读 · 0 评论 -
[hive]解决COMMENT中文乱码问题
【hive-部署】解决COMMENT中文乱码问题 - 简书原创 2022-01-18 09:55:51 · 284 阅读 · 0 评论 -
[hive]idea连接hive报异常：Required field ‘client_protocol‘ is unset
1.确保HiveServer2开启2.确保pom文件hive版本正确2.下载hive lib下的 两个jdbc jar包到mac本地3. 删掉idea原有的hive驱动4.点击custom jars（自定义jar）添加自己的两个jar包5.检测是否正确原创 2022-03-08 09:53:51 · 967 阅读 · 0 评论 -
[hive]hive(*)java.lang.OutOfMemoryError: Java heap space
出现问题：hive执行插入，查询都没有问题，但是count(*)报错解决方法：set mapreduce.map.memory.mb=2048;同时回顾下set mapred.max.split.size 设置分割大小 可增大map个数set mapreduce.reduce.memory.mb 设置reduce内存大小...原创 2022-01-18 14:47:16 · 1084 阅读 · 0 评论 -
java.lang.OutOfMemoryError: Unable to acquire 65536 bytes of memory,
出错代码：rdd.coalesce(1).saveAsTextFile(outpath)解决：将coalesce改成repartition即可原因：repartition会开一个shuffle将文件进行合并，所以他的上游还是多个partition并行运行的。而coalesce是直接用一个分区处理所有数据。...原创 2022-04-26 11:18:08 · 819 阅读 · 0 评论 -
[报错]ClassNotFoundException:hadoop.hbase.filter.ByteArrayComparable
在spark连接hbase时报错报错代码val tools = new HbaseTools()val connection = tools.getConnection()两个方法分别为：def initConnection()={ if(con==null||con.isClosed){ val conf:Configuration = HBaseConfiguration.create() conf.set("hbase.zookeeper.q.原创 2022-04-25 16:51:41 · 1712 阅读 · 0 评论 -
[报错]看日志看什么
查看日志yarn logs -applicationId id看日志看什么不要只看Caused by!1.要看报错的第一行2.代码哪行错了3.Caused by!原创 2022-04-22 12:24:59 · 436 阅读 · 0 评论 -
[报错]Exception: Found duplicate column(s) in the data schema: `value`；
val value_path="file:///Users/kelisiduofu/Desktop/UIS/value1" val conf=new SparkConf().setAppName("UIS_TMP").setMaster("local[*]") val spark=SparkSession.builder().config(conf).getOrCreate() val frame1=spark.read.json(value_path) fra...原创 2022-04-21 14:23:09 · 2453 阅读 · 0 评论 -
[报错]Caused by: org.apache.hadoop.hbase.TableNotEnabledException
hbase(main):020:0> disable '表名'0 row(s) in 0.0640 secondshbase(main):021:0> enable '表名'0 row(s) in 1.4940 seconds原创 2022-04-26 11:08:41 · 963 阅读 · 0 评论 -
org.apache.hadoop.fs.ChecksumException: Checksum error
idea跑本地数据时，会产生隐藏的crc文件，将该路径下的.xxx.crc文件删掉即可原创 2022-04-14 17:15:36 · 1372 阅读 · 0 评论 -
Caused by : scala.Some.value()Ljava/lang/Object
原因集群中的spark与maven中的scala版本不一致一.打包后在集群中运行报该错1.查看集群中spark的版本与其应该对应的scala版本spark-shellspark版本2.3.3 对应的scala版本是2.11.8但是我的pom.xml是2.12.12，改成2.11.8即可改pom后如何导包？改了之后，会出现一个m，点这个m就可以啦二.在idea本地运行报该错改变idea的scala版本，点download之后就会出现所有版本...原创 2022-04-14 17:09:58 · 1469 阅读 · 0 评论 -
Caused by: scala.MatchError: None (of class scala.None$)
代码中使用 import scala.util.parsing.json.JSONval inpath="hdfs://node01:8020/tmp/InternationalData_source/InternationalData.IBRD_Value.json"val lines: RDD[Option[Any]] = jsonStr.map(one_line => JSON.parseFull(one_line)) val pre_rdd = lines.map {原创 2022-04-14 16:57:33 · 1358 阅读 · 0 评论