linux处理数据-1

1、帮助命令

man/info/whatis

eg：man ls

详情可看：https://linuxtools-rst.readthedocs.io/zh_CN/latest/base/01_use_man.html

2、目录和文件常见操作

文件管理:创建mkdir/添加vim/删除rm/重命名mv/查看路径pwd/查看路径中文件ls

文件的查询和检索: find/ locate  ; find 目录 -name '正则匹配'

查看文件内容：cat /vim/ tail /more/head

管道和重定向: ; | && >

详情可看：https://linuxtools-rst.readthedocs.io/zh_CN/latest/base/02_file_manage.html

3、文本处理

1)、查找文件find

查找当前路径以.txt结尾的文件：find . -name '*.txt' 

查找当前路径非以.txt结尾的文件：find . ! -name '*.txt'

删除当前路径可以与‘test*’匹配的文件：find  . -type f -name 'test*' -delete

查找当前路径以.txt或以.md结尾的文件 :find . \(  -name *.md -o -name *.txt \)

2)、搜索文件中满足某一要求的行grep

对当前目录搜索包含a字符的文件递归搜索:grep  a . -R -n

匹配在file中既包含a或b的行：grep -e a -e b file 

3)、xargs将单行输出，转化为多行输出

将1.txt文件转化为3行输出 cat 1.txt | xargs -n 3

4)文本排序sort

• -n 按数字进行排序 VS -d 按字典序进行排序
• -r 逆序排序
• -k N 指定按第N列排序

对第一列的数字按数字逆序排序：sort -nrk 1 1.txt

消除重复行：sort 1.txt |uniq

统计各行文件出现的次数：sort 1.txt |uniq -c

找出重复的行：sort  1.txt|uniq -d

5)行文本转化tr

'\t'转化为空格: cat 1.txt |tr  '\t' ' '

压缩多余的空格：cat 1.txt |tr -s ' ' 

 

 

 

 

https://linuxtools-rst.readthedocs.io/zh_CN/latest/base/03_text_processing.html （文本处理）

参考文献：

https://www.jianshu.com/p/37c194c5e654 (linux数据处理)

https://linuxtools-rst.readthedocs.io/zh_CN/latest/base/01_use_man.html （较全的入门篇）

https://ytluck.github.io/data-mining/my-dataming-post-30.html （简单命令）