Pydoop在AWS的Ubuntu上Segmentation fault 错误处理

最新推荐文章于 2020-11-25 21:37:40 发布

铁猴

最新推荐文章于 2020-11-25 21:37:40 发布

阅读量1.8k

点赞数 1

分类专栏： Python基础编程大数据存储与分析文章标签： Pydoop Hadoop Python AWS

本文链接：https://blog.csdn.net/eric_sunah/article/details/75096511

版权

55 篇文章 15 订阅

订阅专栏

28 篇文章 3 订阅

订阅专栏

问题描述

平台用Python开发，使用pydoop对HDFS文件进行操作，当迁移到AWS时，出现Segmentation Fault,
通过排查，确定问题是因为调用了Pydoop对hdfs的初始化过程中出现的问题。
相关代码如下：

from pydoop.hdfs import fs;
print fs.hdfs()

通过gdb调试，错误信息如下：
这里写图片描述

通过查阅资料，初步判断是由于堆栈溢出导致的异常，通过查看native_core_hdfs源码，发现该代码会从LIBHDFS_OPTS读取JVM配置信息，但是环境中缺少该变量的定义.通过添加该变量，问题得到解决

1，在环境中增加下列变量的配置

export LIBHDFS_OPTS="-server -Xss2m -Xms2000m -Xmx2000m -Xmn800m -XX:PermSize=64m -XX:MaxPermSize=256m"

2，因为Spark中也有相关操作，所以还需要在spark/conf/spark-env.sh中增加该变量的配置：

export LIBHDFS_OPTS="-server -Xss2m -Xms2000m -Xmx2000m -Xmn800m -XX:PermSize=64m -XX:MaxPermSize=256m"

关注