hadoop基本命令

1、上传文件值hdfs

所有的节点都要关闭防火墙，centos7中关闭防火墙：systemctl stop firewalld.service
所有节点都要进入root。
大部分命令类似于linux，只是多加了-

创建/input文件夹： hdfs dfs -mkdir /input
上传文件：hadoop fs -put /home/hz/Documents/清洗后的基站数据.txt /input
下载文件：hadoop fs -get /outfile /home/hz/Documents
查看文件目录：hdfs dfs -ls /input
查看文件数据：hadoop fs -cat /file
删除文件（夹）:hadoop fs -rm (-r) -skipTrash /name
将hdfs的文件进行合并下载到linux本地：hadoop fs -getmerge /outfile /home/hz/Documents/result.txt

二、hdfs

hdfs目录为数据节点datanode中/root/hadoop/dfs/data/下面，这个目录是在hdfs-site.xml中配置的：/root/hadoop/dfs/data/current/BP-1033725880-192.168.253.129-1608516465401/current/finalized/subdir0/subdir0/

hadoop运行jar包：
先进入jar所在的目录

cd /home/hz/Documents

hadoop jar hadoop_sort.jar com.hadoop.sort.My_hadoopsort /input /outfile

hadoop_sort.jar是你打包的jar包的路径（该jar包放在linux上），com.hadoop.sort.My_hadoopsort是你main函数所在类的名字，
/input是输入数据的路径（在hdfs上），
/outfile输入数据的路径(在hdfs上)，必须没有outfile这个文件夹存在，否则会报错

三、二次排序原理

虽然进行分区后能够保证相同orderId的数据进入到同一个reduceTask里面去，但是不能保证一个reduceTask里只有一种orderId的数据，有可能有不同orderId的数据。