使用库:pyhdfs
调用方法:
pyhdfs.HdfsClient(ip,port,user).copy_from_local()
pyhdfs.HdfsClient(ip,port,user).copy_to_local()
异常现象1如下图:
异常现象2如下图:
异常现象3如下图:
原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是
我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常
解决办法:开启data节点端口