报错解决方法收集
幸运的Alina
这个作者很懒,什么都没留下…
展开
-
Spark-shell 使用注意项记录
!!!直接杀进程的时候强烈建议提醒你自己你知道自己在做什么,为什么要这么做,不然,一个kill 命令下去一堆问题出现。在开发过程中会使用Spark-shell进行调试,这里记录下遇到的坑。在开发中没养成良好的退出习惯,每次ctrl+z就直接强制退出了,却不知在Yarn的application还处于等待消息接受状态中,后面发现多个端口都被占用后,无法启动Spark-shell,看了网上描述的最简单的是端口占用原因,直接杀掉端口对应进程。首先要说明这种方式很愚蠢,很不可取。当然我在实际中确实这么做了趟了原创 2020-05-26 19:39:40 · 780 阅读 · 3 评论 -
PySpark集群运行任务报错No Space Left on the device
在实际运用中运用Spark集群跑任务的时候出现No Space Left on the device的错误,解决方法如下:1. 修改配置文件spark-env.sh,把临时文件引入到一个自定义的目录中去即可export SPARK_LOCAL_DIRS=/data/tmp2. 通过df -h 和du -sh * 查看当前的磁盘的使用情况,清理磁盘...原创 2019-07-24 16:37:14 · 1655 阅读 · 0 评论 -
python UnicodeEncodeError: 'ascii' codec can't encode characters in position 209-210
在平时开发的时候没有注意,最近出现了UnicodeEncodeError: 'ascii' codec can't encode characters in position 209-210: ordinal not in range(128)解决方法就是本身如果是用了print(str(sql))或者print(sql)改为print(sql.encode('utf-8')...原创 2019-07-24 11:43:19 · 1144 阅读 · 0 评论 -
Python运行Spark集群环境踩坑记录
这一段时间一直在弄spark集群,然后开发使用的是python开发,其中环境的坑多到几度想令我放弃,这也就是公司没有配置专业搭环境的工程师的弊端,遇到事情了只能自己解决,于是自己记录下不同的坑,方便自己以后排雷,也放出来给有需要的人。1. 在python中配置环境变量注意点 首先就是python环境在集群中必须一致,如果是采用os.environ的方法的话,不然你就会遇到如下的报错解决...原创 2019-07-07 12:39:58 · 5065 阅读 · 0 评论 -
HBase从节点的HRegionServer服务未启动的解决方法
在主节点启动HBase后,进入到HBase shell 查看status的时候,发现server数量为0,进入到从节点的机器上执行jps查看也没有HRegionServer 服务,然后排查了下原因是另外2台机器和主机器时间不同步,貌似指的是集群间时间差达到30S就会出这种问题,然后我分别看了下三台机器,时间差都在几分钟的范围,于是手动改了系统时间然后将集群的时间改为一致后,再启动HBase...原创 2019-05-15 16:04:52 · 7436 阅读 · 0 评论 -
运行HBase报SLF4J: Class path contains multiple SLF4J bindings解决方法
在实际启用HBase的时候,因为Hadoop中的jar包和HBase中的包版本不一致,就会出现对应的warnning信息,如图所示 :那么解决方法也很简单,就是选择其中一个路径下面的jar包删掉,只删其中一个,想保守点操作的话,就把其中一个包重命名。我这里选择了将HBase目录下的jar包进行重命名。然后再运行就不会出现类似的警告信息啦。...原创 2019-05-15 15:55:09 · 6244 阅读 · 6 评论 -
Hadoop集群能打开50070端口网页不能打开8088端口网页
最近开始搭建Hadoop集群,一开始很顺利,后面慢慢的一步步爬坑,记录下遇到的问题和解决方法。在Hadoop 集群启动后,发现直接访问50070端口的网页没有问题,如图(博主这里还做了端口映射,所以看到的端口和实际端口不同):但是直接访问8088端口就直接找不到 :经过一步步的排查,记录下排查解决的方法:中间排查步骤如下:1. 查看hadoop 启动的进程因为8088...原创 2019-05-10 11:30:28 · 9823 阅读 · 10 评论 -
Python中NameError: name 'reload' is not defined
解决:NameError: name 'reload' is not defined 问题对于 Python 2.X:import sys reload(sys)sys.setdefaultencoding(“utf-8”)对于 <= Python 3.3:import imp imp.reload(sys)注意:1. Python 3 与 Pytho...原创 2019-03-25 11:21:14 · 1347 阅读 · 0 评论 -
Pandas读取tsv报ParserError: Error tokenizing data. C error
在加载tsv格式的文件的时候,报错ParserError: Error tokenizing data. C error: Expected 2 fields in line 43043, saw 3train=pd.read_csv("../input/TrainData.tsv",sep="\t",delimiter="\t")后面检查了下加了如下的参数就解决了tra...原创 2019-02-25 15:21:30 · 5492 阅读 · 0 评论 -
Flask部署到阿里云外网访问无响应
在这次把Flask项目放到阿里云服务器后,按照把对应的端口加到阿里云平台的网络入组后还是没有解决,看了网上很多解决方法都没解决,说什么改host 为阿里云内网ip ,还是没办法,后来试验后才解决其实首先那里的host 直接用host='0.0.0.0' 是没有任何问题的,问题在于要在Centos 下防火墙要开放8808端口与服务器连接 这里需要在linux 下执行如下命令把对应的端...原创 2018-09-13 19:04:58 · 2430 阅读 · 5 评论 -
Python字典查找报Keyerror解决方法
Python的字典一般都直接查找key ,比如dict={'a':1,'b':2,'c':3}print(dict['a'])但是如果在查找的key不存在的时候就会报:KeyError:比如你要查看print(dict['d'])由于这个时候dict里面并没有这个key ,所以就会直接报错,那么这个时候其实python给我们提供了一种很棒的解决方法,那就是用setdefa...原创 2018-07-18 10:19:25 · 294439 阅读 · 14 评论 -
sklearn可视化GraphViz报错解决方法
在使用sklearn做了树模型后,比如决策树等模型,需要把模型可视化的时候可以选择通过pydotplus包来可视化,初次运行会遇到如下报错:pydotplus.graphviz.InvocationException: GraphViz's executables not found本次运行环境是python3.6+ win10 +pycharm运行部分代码如下:im...原创 2018-07-04 17:07:23 · 2362 阅读 · 2 评论