大数据
兔帮大人
平台架构师,全线工程师
展开
-
spark报错:class “javax.servlet.ServletRegistration“‘s signer information does not match signer
spark 运行报错:java.lang.SecurityException: class "javax.servlet.ServletRegistration"'s signer information does not match signer information of other classes in the same package这种情况是 sbt 导入的依赖包含有多个 javax.servlet的包。解决方案是通过 exclude去掉...原创 2021-09-16 10:36:02 · 885 阅读 · 0 评论 -
idea sbt 报错:Error downloading org.pentaho:pentaho-aggdesigner-algorithm:5.1.5-jhyde
使用idea开发spark,每次打开项目sbt都要dump project structure from sbt,由于设置了国内镜像,倒也没什么。这次打开项目突然报错了,project structure 下载失败,报错这个文件 org.pentaho:pentaho-aggdesigner-algorithm:5.1.5-jhyde 找不到报错信息就是说在本地仓库,华为云的仓库,maven的仓库,以及scala-sbt的仓库都找不到 org.pentaho:pentaho-aggdesigner-原创 2021-08-18 17:37:49 · 797 阅读 · 0 评论 -
pandas报错:columns overlap but no suffix specified
使用pandas的join连接两张表,例如表1是left,表2是right,这两张表都有共同的字段user_name,我就以user_name这个字段连接这两张表:left.join(right,how='left',on='user_name')就报出了以下错误:查了一下,是说错误原因是由于这两张表有重复的字段,就是user_name这个字段,需要更改这个字段。这问题我疑惑了好久,两张表联合不是都要有个共同字段吗?怎么会报出重复字段错误呢?原来我理解错了pandas的join,它是将右表的索引原创 2021-08-02 11:16:34 · 8301 阅读 · 1 评论 -
xgboost4j报错:/lib/xgboost4j.dll was not found inside JAR
xgboost4j版本:xgboost4j-spark-0.90操作系统:win10在用idea使用xgboost4j,在本地调试运行报错:failed to load xgboost4j library from jar/lib/xgboost4j.dll was not found inside JAR很明显报错原因是找不到文件 xgboost4j.dll。查看xgboost4j的包,在lib文件夹下确实没有xgboost4j.dll这个文件。可以到这个网址:https://githu原创 2021-07-31 11:51:52 · 1461 阅读 · 0 评论 -
xgboost4j报错:Check failed:preds.Size()==info.labels_.Size()
使用的xgboost4j的版本是:xgboost4j-spark-0.90。运行过程中报出以下错误:Check failed:preds.Size()==info.labels_.Size()报错发生原因不清楚。解决方案是:xgboost的配置参数里,如果指定了"objective" -> "binary:logistic"则 "num_class" -> 2无须设置,就是把这个参数注释掉。这样子错误就解决了。但如果"objective"设置了多分类,则"num_class"原创 2021-07-30 10:58:18 · 1950 阅读 · 1 评论 -
com.google.common.base.Stopwatch from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
hbase版本:1.2.6报错:com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator这是因为我导入了google的guava包,但这个guava包的版本和hbase里面的guava包的版本相冲突。把hbase包里面的guava去除,并将导入的guava包的版本降低到15以下...原创 2021-07-07 11:57:24 · 1052 阅读 · 0 评论 -
idea开发Spark报错:ClassNotFoundException:org.apache.spark.sql.SparkSession$
在使用idea开发spark报出了错误:ClassNotFoundException:org.apache.spark.sql.SparkSession$,SparkSQL的类找不到,但明明是导入了SparkSQL的包,查看build.sbt后发现spark-sql的包的使用范围是provided,把provided去掉即可解决。...原创 2021-07-07 11:34:14 · 2770 阅读 · 0 评论 -
hbase 报错:can not got log writer
hbase 版本 :1.2.6报出一个错误 : can not got log writer需要在hbase的配置文件加上:<property><name>hbase.wal.provider</name><value>filesystem</value></property>原创 2021-07-07 11:15:09 · 341 阅读 · 0 评论 -
Flink 报错:unable to generate a JAAS configuration file
安装 Flink 报错:unable to generate a JAAS configuration file原因是Flink的存放临时文件的地方,默认是 /data/flink/tmp,没有写入权限,要将tmp文件夹的权限改为 777。原创 2021-07-07 10:49:34 · 1713 阅读 · 0 评论 -
docker 安装 kafka-manager 报错:连接 zookeeper 超时
使用 docker 搭建 kafka 集群 以及 kafka-manager,kafka 集群是启动成功,但 kafka-manager 管理页面不能加载出来,查看日志是连不上 zookeeper。原来在 docker-compose.yml 配置文件里,我 kafka-manager 的 zookeeper 域名写的是 docker 容器里 zookeeper 的 ip ,正确的应该是宿主机的ip + docker 容器 zookeeper 的端口可以看到 3 个 zookeeper IP 都是相同原创 2021-06-03 14:22:23 · 1479 阅读 · 0 评论 -
kafka报错:Replication factor:larger than available brokers
kafka版本:2.11-2.0.0在创建 Topic 时,报出以下错误:问题是我有 3 台broker,副本设为 2 不应该会大于 broker 数量。我先检查 3 台 broker 是否已经成功启动,到 zookeeper 查看:3 台 broker 是成功启动的,那么问题就是 zookeeper中 kafka 的地址没写对,正确的应该是带上 kafka 在 zookeeper 的存放目录:这样子问题就解决了。...原创 2021-06-03 12:24:13 · 1977 阅读 · 0 评论 -
phoenix 报错:ClassNotFoundException: org.apache.phoenix.hbase.index.IndexRegionObserver
使用 phoenix 连接 hbase 报出了以下错误:出现这个错误的原因是,phoenix-server 以及 phoenix-core 这两个 jar 包没有没有放到 hbase-regionserver 的 lib 下。或者,hbase-regionserver 的 lib 下的 phoenix-server 以及 phoenix-core 这两个 jar 包的版本和 phoenix query server 的版本不一致。...原创 2021-06-02 11:22:03 · 1103 阅读 · 0 评论 -
spark启动thriftserver报错:/tmp/hive on HDFS should be writable
错误如下:解决方案:更改HDFS的/tmp/hive文件为777,然后再删除本地的/tmp/hive文件夹。原创 2019-06-04 16:04:22 · 541 阅读 · 0 评论 -
beeline连接hiveserver2报错:User: hive is not allowed to impersonate
hive版本 :3.1.1我使用 hive 用户通过beeline连接 hiveserver2,报出hadoop安全机制的错误:java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User:...原创 2019-06-04 14:28:41 · 1196 阅读 · 2 评论 -
storm 本地调试报错,NoClassDefFoundError:com/codahale/metrics/JmxReporter
storm版本:1.2.2在本地调试报错:是找不 JmxReport类,那就从maven下载 metrics-core,我下载的是4.0 ,依然报这个错,查看metrics-core包里确实没有 JmxReport类,看来metrics-core 4.0以上版本已经把JmxReport类给去掉,那就降低版本,下载 metrics-core 3.0 ,再次运行错误就解决了。...原创 2019-05-16 11:58:16 · 5756 阅读 · 0 评论 -
hadoop启动datanode报错:Incompatible clusterIDs in
Hadoop版本为3.1.2。在启动datanode时报错,日志如下:意思是namenode的集群ID和datanode的集群ID不一致。解决方案:将datanode存放数据的文件目录清空。例如我datanode数据目录为 /home/hadoop/hdfs/data/,将这 /home/hadoop/hdfs/data里面的文件都删掉即可。...原创 2019-04-16 19:25:31 · 879 阅读 · 0 评论 -
sqoop报错:Unable to lease link
启动sqoop时报错如下原因是因为上次启动时不小心以root的身份启动了sqoop,从而在 base/repository/db/ 目录产生一个db.lck文件,但这个文件的拥有者是root因为我的是测试服务器,就把base目录下的文件都删除,重新启动就成功了。...原创 2019-04-22 10:49:31 · 289 阅读 · 0 评论 -
sbt配置国内镜像
操作环境:win10从官网下载sbt的windows安装包安装成功后,进入安装目录的 conf/ 文件夹编辑sbtconfig.txt增加下面两行代码:-Dsbt.global.base=C:/Sbt/.sbt-Dsbt.repository.config=C:/Sbt/properties在安装目录的 .sbt/ 文件夹下建立 properties文件打开,增加以下代码:...原创 2019-04-26 16:42:23 · 5543 阅读 · 0 评论 -
elasticsearch:max file descriptors [4096] for elasticsearch process is too low
elasticsearch版本:6.2.4启动elasticsearch报错:max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]意思是elasticsearch进程最大同时打开文件数太低。解决方案:修改 /etc/security/limits.con...原创 2019-04-15 16:04:54 · 3742 阅读 · 0 评论 -
elasticsearch:max number of threads [3818] for user [es] is too low, increase to at least [4096]
elasticsearch版本:6.2.4启动elasticsearch报错:max number of threads [3818] for user [es] is too low, increase to at least [4096]意思是elasticsearch最大线程数目太低解决方案:修改 /etc/security/limits.conf在文件末尾增加以下两行:es ...原创 2019-04-15 16:08:28 · 4480 阅读 · 1 评论 -
elasticsearch报错:max virtual memory areas vm.max_map_count [65530] is too low
elasticsearch版本:6.2.4启动elasticsearch报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]意思是最大虚拟内存太小解决方案:修改 /etc/sysctl.conf在文件末尾增加:vm.max_map_count=655...原创 2019-04-15 16:14:17 · 1124 阅读 · 0 评论 -
zookeeper报错:Invalid config, exiting abnormally
zookeeper版本3.4启动zookeeper时出以下错误:我遇到的原因有2个找不到myid文件。myid文件必须要放在dataDir所配置的路径下。myid文件里的序号只能是数字,不能为字母。...原创 2019-04-19 11:51:35 · 17921 阅读 · 1 评论 -
Hadoop 3.1高可用集群搭建(亲测)
hadoop版本 3.1.2机器数量:5台nameNode数量 :3个dataNode数量: 5个journalNode数量: 5个这教程是5台机搭建hadoop高可用集群,其中3台机做namenode,5台机都做datanode和journalnode。在这里我已经做好了以下几个前期工作:5台机的zookeeper集群hadoop账号的建立,避免使用root操作hadoop...原创 2019-04-19 15:17:06 · 744 阅读 · 0 评论 -
Phoenix 建立二级索引报错:Mutable secondary indexes must have the hbase.regionserver.wal.codec property
版本HBase:2.0.5Phoenix :5.0.0在Phoenix建立二级索引CREATE INDEX index_6 on "my_test6"("student"."name2") include("name1");报错如下:原因:hbase可变索引默认没有开启解决方案:在 每个regionServer的hbase-site.xml添加以下语句:<proper...原创 2019-05-04 11:49:08 · 1324 阅读 · 0 评论 -
spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
spark版本:2.4.0用 spark-submit 提交任务到 yarn 报错 :错误显示是 scala 环境中找不到某个类,应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。spark 的 scala 版本为 : 2.11.12而我的 sbt 编译的 scala 版本为 : 2.12那么把 sbt 的 scala 版本改为 2.11.1...原创 2019-05-08 16:45:22 · 2876 阅读 · 0 评论 -
spark在windows下启动报找不到winutils的错误
在windows下通过idea启动spark程序,报以下错误:错误原因是找不到 winutils.exe解决方案:在这个网站下载对应hadoop版本的winutils: https://github.com/4ttty/winutils然后建立 HADOOP_HOME 的环境变量,把winutils放入 HADOOP_HOME/bin 目录中。再次运行项目,错误已解决。...原创 2019-05-09 09:05:21 · 979 阅读 · 0 评论 -
hadoop高可用集群namenode不能自动切换
hadoop版本3.1.2。在搭建完hadoop高可用集群后,一般会验证一下namenode在发生故障时,能否自动切换。在停掉其中一台namenode服务后,发现剩下的namenode不能自动切换,就是说查看它们的状态还是standby。我遇到的原因有两个:没有安装psmisc,导致找不到 fuser命令。各个namenode所在机器之间要能够互相免密登录,包括自己。这时候要看日志...原创 2019-04-16 19:23:15 · 3269 阅读 · 0 评论