1、上传文件值hdfs
所有的节点都要关闭防火墙,centos7中关闭防火墙:systemctl stop firewalld.service
所有节点都要进入root。
大部分命令类似于linux,只是多加了-
创建/input文件夹: hdfs dfs -mkdir /input
上传文件:hadoop fs -put /home/hz/Documents/清洗后的基站数据.txt /input
下载文件:hadoop fs -get /outfile /home/hz/Documents
查看文件目录:hdfs dfs -ls /input
查看文件数据:hadoop fs -cat /file
删除文件(夹):hadoop fs -rm (-r) -skipTrash /name
将hdfs的文件进行合并下载到linux本地:hadoop fs -getmerge /outfile /home/hz/Documents/result.txt
二、hdfs
hdfs目录为数据节点datanode中/root/hadoop/dfs/data/下面,这个目录是在hdfs-site.xml中配置的:/root/hadoop/dfs/data/current/BP-1033725880-192.168.253.129-1608516465401/current/finalized/subdir0/subdir0/
hadoop运行jar包:
先进入jar所在的目录
cd /home/hz/Documents
hadoop jar hadoop_sort.jar com.hadoop.sort.My_hadoopsort /input /outfile
hadoop_sort.jar是你打包的jar包的路径(该jar包放在linux上),com.hadoop.sort.My_hadoopsort是你main函数所在类的名字,
/input是输入数据的路径(在hdfs上),
/outfile输入数据的路径(在hdfs上),必须没有outfile这个文件夹存在,否则会报错
三、二次排序原理
虽然进行分区后能够保证相同orderId的数据进入到同一个reduceTask里面去,但是不能保证一个reduceTask里只有一种orderId的数据,有可能有不同orderId的数据。