![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
各种报错
关于我转生变成程序猿这档事
这个作者很懒,什么都没留下…
展开
-
关于在 Java 调用 Kafka 的 ConsumerAPI 之后无法消费的问题 [‘consumer‘ has raw type, so result of poll is erased ]
记录一下工作中遇到的关于 Kafka 的问题,具体工作流程是 Mysql 通过 DataX 同步到 Kafka 中,再通过 DataX 把 Kafka 的数据同步到 Elasticsearch,大概就是下图的一个流程:执行任务发现可以读取到 Mysql 的数据,自己在控制台用命令行消费自动创建的 Topic 也可以消费到数据,但是 Java API 中 consumer.poll 之后的 records 是空的,没有拿到任何数据,并且 IDEA 给出了一个警告:Unchecked assignmen原创 2020-11-12 17:38:42 · 2821 阅读 · 0 评论 -
The path component: ‘/var/lib/hadoop-hdfs‘ in ‘/var/lib/hadoop-hdfs/dn_socket‘ has permissions 0755
报错原因:java.io.IOException: The path component: ‘/var/lib/hadoop-hdfs’ in ‘/var/lib/hadoop-hdfs/dn_socket’ has permissions 0755 uid 993 and gid 991. It is not protected because it is owned by a user who is not root and not the effective user: ‘0’. This migh原创 2020-09-20 11:50:44 · 1016 阅读 · 0 评论 -
使用 PREFIX=PATH make install 编译 hue 报错:……setuptools pip wheel failed with error code 2
报错具体内容:OSError: Command /opt/lagou/software/…ld/env/bin/python2.7 - setuptools pip wheel failed with error code 2解决方法:1.先确定自己的 linux 服务器有没有安装 python-pip,如果没有,执行 yum -y install python-pip 安装2.更换 pip 下载源# 查看在 ~目录 下有没有 .pip 目录,如果没有则创建# 并在 .pip 目录下创建 pip原创 2020-09-03 00:15:09 · 832 阅读 · 0 评论 -
写了shell脚本想一键启动三台虚拟机的Zookeeper,却不知道为啥总是启动不了
首先,一键启动的shell脚本是这样的#! /bin/bashcase $1 in"start"){ for i in node01 node02 node03 do ssh $i "/opt/module/zookeeper-3.4.5-cdh5.14.0/bin/zkServer.sh start" don...原创 2020-04-21 17:51:07 · 515 阅读 · 3 评论 -
Spark离线日志分析,连接Spark出现报错
java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the service 'sparkDriver' (for example spark.driver.bindAddress f原创 2020-04-12 17:48:17 · 943 阅读 · 1 评论 -
就没有我遇不到的报错!java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter
本来准备用HBase的Bulkload将HDFS的HFile文件导入到HBase的myuser2表中,用的是yarn jar的命令yarn jar /export/servers/hbase-1.2.0-cdh5.14.0/lib/hbase-server-1.2.0-cdh5.14.0.jar completebulkload /hbase/hfile_out myuser2结果直接报错...原创 2020-04-04 01:59:45 · 661 阅读 · 0 评论 -
hive元数据报错?试了很多方法都没辙?也许你漏了这一步
进入hiveCLI后,输入show databases;显示FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Session...原创 2020-04-02 22:33:55 · 416 阅读 · 0 评论