cat all_08 | sort | uniq >> all_uniq #对文件排序去重
wc -l 文件 #统计文件行数
cat part-* >> all_part #合并多个文件
split -l 1048576 ipcam_fengshui.txt ipcam_ #将文件平均切分
hadoop fs -cat /home/eng/jiguifang/all_urls/part-* | wc -l #看文件总共有多少行
ps aux | grep "single_img.php" | awk '{print $2}' | xargs kill -9 #杀死指定运行程序
grep 'XXX' ./access.log #当前某个文件下下查找某个字符串
grep 'XXX' ./文件名 | grep 'XXXX' #查找文件中共同出现两个关键字的数据
hadoop fs -text /home/eng/rankv5/20201011/part-01999.gz | grep "rcaser" |wc -l
hadoop fs -cat /home/eng/zhixuan/query_final/20201009/part* | hadoop fs -put - /home/eng/zhixuan/query_finals/20201009/
#将hadoop上的多个节点合并放在Hadoop的一个节点上
cp -R ltr_toolkit/* ltr_toolkit2 #拷贝文件夹中的所有文件到另一个文件夹中
nohup python segment_entropy.py ./data/product_item_ab.csv product_word_b1.csv > log1.out 2>&1 & #后台执行
nohup ./program >/dev/null 2>&1 & #日志输出到dev/null
hadoop linux常用指令
最新推荐文章于 2024-08-27 09:54:07 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)