目标:使用pydoop从我的笔记本电脑读取HDFS中存储的远程文件。我用的是pycharm专业版。我使用的是Cloudera CDH5.4
我的笔记本电脑上的pyCharm配置:在项目解释器中(在“设置”下),我将python编译器作为ssh://远程服务器ip地址:端口号/home/ashish/anaconda/bin/python2.7
现在有一个文件存储在HDFS location/home/ashish/pencil中/文件名.txt在
然后我在远程服务器上使用pip install pydoop安装pydoop并安装它。然后我编写这个代码从hdfs位置读取文件import pydoop.hdfs as hdfs
with hdfs.open('/home/ashish/pencil/someFileName.txt') as file:
for line in file:
print(line,'\n')
执行时我得到了错误
^{pr2}$
我猜可能找不到py4j。py4j的位置是/home/ashish/anaconda/lib/python2.7/site-packages/py4j
当我在远程服务器上回显java home时echo $JAVA_HOME
我知道这个位置/usr/java/jdk1.7.0_67-cloudera
我对python编程和centOS设置都是新手,请建议我可以做些什么来解决这个问题?在
谢谢