Bug解决
关注
分享
扫一扫
记录日常工作job中出现的奇异bug!
大数据梦想家
专注与研究大数据基础，理论，架构与原型实现。
个人原创公众号「 大数据梦想家 」，每日更新大数据干货，欢迎上车!
一天的生活就是一生的缩影。在最美的年华，做最好的自己！！！
展开
-
Hexo启动页面显示extends includes/layout.pug block content include includes/recent-posts.pug include
Hexo更改主题后启动服务器，界面显如下字符:extends includes/layout.pug block content include includes/recent-posts.pug include includes/partial解决方案:执行如下命令npm install --save hexo-renderer-jade hexo-generator-feed hexo...原创 2020-03-15 20:10:50 · 22760 阅读 · 28 评论 -
关于Zookeeper一键启动/关闭脚本所产生的乌龙事件
大家都知道在Hadoop集群开启/关闭Zookeeper集群的时候，需要到不同的节点ZK的bin目录下执行对应的启动/关闭脚本，十分的麻烦。所以就有了以下脚本的产生~ 一键开启Zookeepervim /...原创 2020-03-14 15:12:29 · 9341 阅读 · 1 评论 -
selenium.common.exceptions.SessionNotCreatedException: Message: session not异常解决
在做selenium测试的过程中难免会因为浏览器版本更新的问题，导致系统所下载的驱动版本与浏览器不一致。 因为在之前的博客中博主已经解决了不同bug但解决方案是相同的，故在这里仅设置传送门，不再做过多的赘述。...原创 2020-03-03 16:45:01 · 53443 阅读 · 2 评论 -
Pig启动出现Unhandled internal error. jline.Terminal.getTerminal()Ljline/Terminal
今天在启动Pig客户端的时候，命令行出现了下面这个问题。根据命令行的提示,我们打开bug所记录的日志。vim /etc/profile.d/pig_1582816803489.logERROR 2998: Unhandled internal error. jline.Terminal.getT...原创 2020-02-28 13:18:33 · 10405 阅读 · 0 评论 -
解决Hbase远程连接失效ava.io. IOException: org. apache. hadoop.hbase. client.RetriesExhausted Exception Faile
今天在使用DataGrip连接hive数据库浏览数据的时候，发现hive数据库中与hbase映射的hive数据表查询不了了，双击数据表加载半天出现下面的异常。后面打开Hue,发现关于hbase的连接也失败了。后面在网上搜索了半天，发现情况都跟自己的不一样，然后想起了之前记录Hue配置HBase的...原创 2020-02-27 15:53:13 · 12738 阅读 · 1 评论 -
hive远程连接失败?Could not open client transport with JDBC Uri: jdbc:hive2:异常解决
有一段时间没有关集群了。今天由于业务需求需要重启集群，结果在使用DataGrip连接hive数据库的时候报了这个异常!java.net.ConnectException: Connection refused: connect. &nbs...原创 2020-02-17 18:21:29 · 18947 阅读 · 1 评论 -
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
今天在使用Hadoop集群上的Hive时，结果出现了以下的情况。hive (default)> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.la...原创 2020-02-17 18:10:34 · 19165 阅读 · 1 评论 -
完美解决Hadoop集群无法正常关闭的问题!
相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。 但往往一stop-all.sh,集群下方...原创 2020-02-16 11:21:25 · 12220 阅读 · 1 评论 -
运行Sqoop出现hcatalog does not exist!...accumulo does not exist!解决方案
有一段时间没用sqoop了，今天打开进行测试的时候，发现命令行总是出现下面这样的警示信息：Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail.Please set $HCAT_HOM...原创 2020-02-16 10:53:44 · 14153 阅读 · 4 评论 -
升级pip超时异常解决
安装的时候发现报错如下, 提示需要升级pip 按照指引进行升级, 同样的超时 使用 豆瓣源进行安装 pip p...转载 2020-02-13 10:09:50 · 7664 阅读 · 1 评论 -
springboot启动报错 Failed to scan.....derbyLocale_zh_TW.jar异常解决
最近在调试Springboot项目的时候，发现每次启动控制台都会打印这样的一个异常信息: 其中，最明显的一个信息是: &n...原创 2020-02-08 08:39:27 · 7962 阅读 · 0 评论 -
bug解决:The last packet sent successfully to the server was 0 milliseconds ago
今天在启动springboot项目的时候，报了如下异常: 主要看了一下，说的是jdbc在提交任务的时候出现了问题，并且驱动未收到服务端的数据包。 ...原创 2020-02-07 10:42:32 · 54387 阅读 · 17 评论 -
hive客户端连接服务端报错“Required field 'client_protocol' is unset! ”异常解决
今天在将springboot项目中运行时，调用集群hive服务器端的时候，报了这个异常! 其中的Required field 'client_protocol' is unset!一度让我怀疑yml配置文件...原创 2020-02-05 18:01:10 · 17756 阅读 · 0 评论 -
Error:java: Annotation processing is not supported for module cycles.异常解决
有一段时间没碰Springboot，想起用到它的时候还是在去年… 由于要开始准备毕设了，所以最近开始部署Springboot的项目，结果在启动的时候，报了以下异常：Error:java: Annotatio...原创 2020-02-04 10:52:18 · 72089 阅读 · 14 评论 -
hive同步hbase数据报错 columns has 10elements while hbase.columns.mapping has 11 elements
今天做hive建表数据同步hbase时报了下面这个异常。翻译过来大致就是hbase中有11个字段,而hive中只有10个字段，很明显需要同步数据的两个表的字段数不一致!但问题可没有简单!在反复确认业务需求的字段数为10个，我就开始纳闷了为啥异常中总说Hbase中有11个字段？后来查了多方资料后终于得出了答案:在创建hive/hbase相关联的表时，hbase表结构默认会有一个字段...原创 2020-01-01 23:49:27 · 4211 阅读 · 0 评论 -
Hive建表异常character ' ' not supported here解决方案
今天在建hive表的时候,建表语句检查了无数次,可最后创建返回的结果永远都是下面这个异常。.....character ' ' not supported here就在小菌快被折磨Crazy的时候,突然在看了一位博主的博文之后发现了解决的问题。就是在本地端下载一个有道云笔记。在里面进入到Markdown模式,把建表语句放进去。把红框里面标红的字符删除即可!删除之后,该bug成功解...原创 2020-01-01 23:16:21 · 10251 阅读 · 4 评论 -
Hive异常Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....
今天在进行数据查询的时候,报了这个异常。对于一个像我这样的技术小白来说,肯定是懵住了。但幸运的是，我很快就找到了出现这个问题的缘由。 原来是我在创建表格的时候,选择的格式是ORC。而在导入数据的时候,文本文件却非ORC格式的,固报了这个异常! &n...原创 2020-01-01 21:40:20 · 10003 阅读 · 1 评论 -
Job Submission failed with exception 'java.net.ConnectException(Call From ....to node01:8032 failed
今天在hive上,执行一个命令,通过从一个表中查询出的数据导入到另一个表的时候,出现了下面的结果。然后就卡在那,就见那光标停在最后一行一闪一闪的…本以为程序在后台在运行,可能过了一会就会有结果了吧。于是小菌表示愿意等上那么几分钟…漫长的几分钟终于过去了,切回来一看。(╬￣皿￣)竟然报错了!!...原创 2020-01-01 17:47:01 · 5576 阅读 · 0 评论 -
Unable to read additional data from server sessionid 0x0解决
今天在一个节点上进入到zookeeper命令行时,报了下面这个异常!后来经过查找了资料才明白,我集群上安装了3台zookeeper。zookeeper有个选举算法，当整个集群超过半数机器宕机，zookeeper会认为集群处于不可用状态。所有，3台机器只启动一台无法连接，如果启动2台及以上就可以连...原创 2019-12-29 11:41:32 · 9260 阅读 · 0 评论 -
用ImageGrab.grabclipboard()获取的图片时出现错误AttributeError: 'NoneType' object has no attribute 'save'解决方案
今天使用Python图像处理库ImageGrab，在调用==grabclipboard()==方法获取到剪切板上图片的时候报了这个让我懵圈了的异常~~后来查了官方文档才知道,grabclipboard函数有一个缓存的问题，操作太快，有时候它就会读取上一次的内容，因为第一个没有读取到图像，所以报错了。...原创 2019-12-28 17:47:11 · 11511 阅读 · 3 评论 -
io.UnsupportedOperation: not writable异常解决
今天在做python语感练习的时候，报了如下异常:就是这个红彤彤的异常io.UnsupportedOperation: not writable翻译一下,意思是不支持写入的权限。仔细检查了一下,才发现在第一次打开文件的时候忘了设置权限了,于是添加上了之后,程序就成功运行了!!!...原创 2019-12-22 11:33:18 · 70455 阅读 · 25 评论 -
org.apache.hadoop.hbase.TableNotDisabledException异常解决
今天在使用JavaAPI操作HBase,当删除数据表时,程序运行报了这个异常。 org.apache.hadoop.hbase.TableNotDisabledException解决方案也很简单根据报错...原创 2019-12-18 11:23:20 · 7510 阅读 · 1 评论 -
HBase使用JavaAPI连接出现java.io.IOException: java.lang.reflect.InvocationTargetException异常解决
今天在使用JavaAPI连接HBase,运行时出现了这个异常。 zjava.io.IOException: j...原创 2019-12-17 16:35:01 · 6588 阅读 · 1 评论 -
Hue启动异常,提示address already in use
今天小菌在第一次使用Hue的时候,在Hue的目录下输入build/env/bin/supervisor命令运行的时候,出现了以下异常也就是说Hue的端口出现了被占用的情况但有时候,我们在修改完一些配置,需要重启怎么办?解决方案也很简单把进程关闭之后,我们在目录下,再输入一遍启动的命令,然后看到下面的界面就说明重启OK了...原创 2019-12-06 20:07:25 · 5248 阅读 · 0 评论 -
selenium.common.exceptions.WebDriverException: Message: ‘chromedriver‘解决
今天在做selenium测试的时候,可能是很久没用了,直接报了这个异常! 相信很多第一次学习selenium的同学们也对这个异常不陌生了,但具体该如何解决这个bug呢? ...原创 2019-12-01 21:13:16 · 115802 阅读 · 139 评论 -
Check system time and time zone异常解决
今天小菌在写一个MapReduce程序时,在运行的时候报了这个一个异常。 根据英文Check system time and time zones 翻译大致就是 要我们检查系统的时间。 &nbs...原创 2019-11-26 23:41:34 · 4852 阅读 · 0 评论 -
java.lang.Exception: java.io.IOException: Illegal partition for解决方法
今天写了一个自定义分区的案例,本以为会一路顺风顺水,没想到在运行的时候,直接报了一个从没见过的一个IO异常:Illegal partition for。光从字面上看是因为分区异常导致的，但我找了半天也没有看出问题的根源在哪里~~找了半天,总算是找到了问题的根源。在自己的自定义分区里,返回的分区分...原创 2019-11-25 22:19:34 · 8251 阅读 · 0 评论 -
Permission denied: user=PC, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法
在用HDFS调用java API操作集群文件的时候,报了这么个错误。 针对这个问题,小菌在之前的博客《HDFS权限问题以及伪造用户(11)》中也谈及过,主要就是因为我们在HDFS中开启了权限的校验后，在通过...原创 2019-11-25 08:28:56 · 10186 阅读 · 0 评论 -
Exception in thread "main" java.lang.NullPointerException
今天写了一个HDFS调用API的简单程序。为了方便调用,在类中定义了两个静态变量。然后写完之后运行,IDEA"无情"地报了一个好久没见过的错——NullPointerException。 仔细检查了一下,才...原创 2019-11-24 22:17:29 · 4852 阅读 · 0 评论 -
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory xxxx already exists解决方法
最近开始学习mapreduce。小菌在第一次写mapreduce的时候就遇到了一个新手经常遇到的坑,具体的bug见下图 上面的那些是日志信息,在最后一行Output directory xxxx alrea...原创 2019-11-12 09:07:41 · 7685 阅读 · 3 评论 -
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.net.BindExcept
从这个报错的异常内容我们先翻译一下，大概就是指在集群启动的时候,namenode因为出现了端口占用的情况,导致nameNode不可用，导致的集群无法正常启动！ 从具体的日志中我们可以看出,我在sbin目录...原创 2019-11-06 11:03:31 · 9218 阅读 · 0 评论