hadoop linux常用指令

cat all_08 | sort | uniq >> all_uniq   #对文件排序去重

wc -l  文件    #统计文件行数

cat part-* >> all_part   #合并多个文件

split -l 1048576 ipcam_fengshui.txt ipcam_    #将文件平均切分

hadoop fs -cat /home/eng/jiguifang/all_urls/part-* | wc -l    #看文件总共有多少行

ps aux | grep "single_img.php" | awk '{print $2}' | xargs kill -9   #杀死指定运行程序

grep 'XXX' ./access.log     #当前某个文件下下查找某个字符串
grep 'XXX'  ./文件名 | grep 'XXXX'      #查找文件中共同出现两个关键字的数据

hadoop fs -text /home/eng/rankv5/20201011/part-01999.gz | grep "rcaser" |wc -l

hadoop fs -cat /home/eng/zhixuan/query_final/20201009/part* | hadoop fs -put - /home/eng/zhixuan/query_finals/20201009/

#将hadoop上的多个节点合并放在Hadoop的一个节点上

cp -R ltr_toolkit/* ltr_toolkit2     #拷贝文件夹中的所有文件到另一个文件夹中

nohup python segment_entropy.py ./data/product_item_ab.csv product_word_b1.csv > log1.out 2>&1 &      #后台执行
nohup ./program >/dev/null 2>&1 &  #日志输出到dev/null