spark进行运算时需要先将数据转换成RDD,然而很多数据是本地的,textFile调用不方便而且耗时耗性能(添加file:///使用)。
所以有了将本地数据先上传至HDFS的现实业务需求。
1. 创建文件(使用已有文件夹跳过此步)
切换到hadoop 安装目录(如果在bash中设置过了,这步不是必须的),启动hadoop(启用HDFS,yarn不是必要的)
然后输入命令:bin/hdfs dfs -mkdir /tianxiaodata,(如果在bash中设置过了,没有bin/hdfs这个前缀命令)
在hdfs上创建tianxiaodata文件夹存放我自己的各种数据
2. 上传本地文件
上传文件到tianxiaodata文件夹:
命令:bin/hdfs dfs -put /usr/local/spark/testdata/ /tianxiaodata/
命令说明:-put {需要上传的文件或者文件夹,例子中是文件夹}空格{存放的目标HDFS路径}
P.S. 每步结果都可以通过web浏览器查看HDFS状态