hdfs 操作

之前将数据文件存放在服务器本地，开启高可用时，代码运行结果保存的服务器位置不定，导致加载文件失败，考虑将文件存入HDFS进行访问。

1. hdfs查看、创建目录

查看目录

hdfs dfs -ls /user

创建新目录，此时user目录下生成了新文件夹，文件将被存放在此处。但是创建目录后发现该文件夹没有写入权限，需要hdfs用户提供权限修改。

hdfs dfs -mkdir /user/word2vec

2. python写入、读取hdfs

安装hdfs包，采用如下代码上传

from hdfs.client import Client


def put_to_hdfs(client, local_path, hdfs_path):
    client.upload(hdfs_path, local_path, cleanup=True)


def get_from_hdfs(client, hdfs_path, local_path):
    client.download(hdfs_path, local_path, overwrite=False)


client = Client("http://10.44.193.141:50070/", root="/", timeout=10000,
                    session=False)
put_to_hdfs(client, '/for_test.txt', '/user/word2vec')