![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
改BUG
STAR・Wang
这个作者很懒,什么都没留下…
展开
-
报错:Codec [xxx] is not available. Available codecs are brotli,uncompressed,lz4,gzip,lzo,snappy,none
可能是建表语句中TBLPROPERTIES (‘PARQUET.compression’=‘xxx’)建议填snappy gzip uncompressed。写入到hive中报错,编码器不可用。原创 2022-08-05 10:43:47 · 600 阅读 · 1 评论 -
写hbase异常native snappy library not available: this version of lib hadoop was built without snappy
操作snappy压缩的表时抛出:原因: 是由于没有在java.library.path上加上snappy库解决方法:修改spark-defauilt.conf配置文件加上: spark.executor.extraLibraryPath /ldata/Install/hadoop/lib/native或者spark.executor.extraJavaOptions -Djava.library.path=/data/Install/hadoop/lib/native如果是spark任务,则在spa原创 2022-06-30 15:44:53 · 1480 阅读 · 0 评论 -
SparkSQL数据为空而引起的show()报错
为了解决数据为空而引起的show()报错,在过滤时使用 !x.isNullAt(1) 判断是否为空,为空就丢弃//过滤 .getDouble(1) 1指第几个column,从0开始 df3.filter(x => !x.isNullAt(1) && x.getDouble(1) < 1995).show(10)...原创 2021-10-15 11:07:46 · 535 阅读 · 0 评论 -
null/hadoopbinary/wintils.exe 报错
遇见 null/hadoopbinary/wintils.exe 报错是因为windows缺少hadoopCommon包,需要下载并解压hadoop-common-2.2.0-bin-master包并在环境变量中设置环境变量,1、在用户变量中新建HADOOP_HOME变量名,变量值为common包的位置2、在系统变量Path中,添加%HADOOP_HOME%\bin;点击确定保存,并重启电脑即可...原创 2021-09-17 15:50:19 · 141 阅读 · 0 评论 -
spark连接HDFS报错:8020 failed on connection exception: java.net.ConnectException: 拒绝连接 解决方法
一、接口错误spark连接HDFS时直接报错,可能是hadoop中core-site.xml配置的集群端口时9000,而spark写的是8020,改为9000即可。二、hdfs文件丢失当初次连接成功,并且获取表结构也成功,但是一获取表数据时就报错 拒绝连接 ,这时要到MySQL中查看该数据库或者该表的文件是否真的存在于指定位置,当文件丢失时也会报错。报错内容会显示文件端口丢失。...原创 2021-05-11 18:55:17 · 4480 阅读 · 0 评论