报错
BornZhu
这个作者很懒,什么都没留下…
展开
-
报错 Error:scalac: missing or invalid dependency detected while loading class file ***
在开发spark应用程序时报错如图所示,这个错误困扰我整整两天,但大致知道是dependency的问题。首先我reimport了pom.xml,仍然报错,将dependency删除后添加再reimport,也是报错,这一步基本排除了pom.xml的问题。之后,我怀疑是下载到本地的包损坏,我去本地的maven仓库中查看,删除了maven仓库中的所有文件,让maven重新下载,仍然报错原创 2017-12-06 20:31:12 · 5983 阅读 · 0 评论 -
Spark源码的下载和编译
1.spark的下载打开网址spark.apache.org,点击download,选择想要下载的版本,我这里选择了最新的2.2.0版本在choose a package type 中选择source code,获取spark2.2.0的下载镜像,即可完成下载。(官网有时候版本切换会有问题,可以在download spark下方的signatures and checksums中选择想原创 2017-11-15 16:52:08 · 6642 阅读 · 0 评论 -
kafka踩到的坑:kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.遇到该错误主要有以下几种原因1.服务器的zookeeper和kafka未开启2.配置文件中,没有配置advertised.host.name和advertised.port3.服务器防火墙未关闭,或者无法连接9092端口原创 2017-11-30 21:21:56 · 6513 阅读 · 0 评论 -
Sqoop将输出文件设置为avro报错
Sqoop将输出文件设置为avro报错Error: org.apache.avro.reflect.ReflectData.addLogicalTypeConversion(Lorg/apache/avro/Conversion;)Vsqoop使用avro1.8.0,hadoop使用avro1.7.4或1.7.5,版本不一致解决办法:在import后面接参数:-Dmapreduce.j原创 2018-05-10 15:15:14 · 1841 阅读 · 0 评论 -
原生态hadoop下启动hive-1.1.0-cdh5.7.0报错
原生态hadoop下启动hive-1.1.0-cdh5.7.0,hdfs,yarn正常启动,hive报错:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion at org.apache.hadoop.hive.shims.Hadoop23Shims.isMR2(H...原创 2018-05-10 20:12:27 · 2433 阅读 · 3 评论 -
sqoop从mysql导入数据到hdfs报错:Connection refused 无法连接10020端口
sqoop从mysql导入数据到hdfs,报错java.net.ConnectException: Call From bigdata001/192.168.254.128 to bigdata001:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more det原创 2018-05-05 11:08:19 · 2889 阅读 · 0 评论