大数据资料

一.Linux文件体系

Filesystem Hierarchy Standard（文件系统层次化标准）:根文件系统
/boot: 系统启动相关的文件，如内核、initrd，以及grub(bootloader)
/dev: 设备文件
/etc：配置文件
/home：用户的家目录，每一个用户的家目录通常默认为/home/USERNAME
/root：管理员的家目录；
/lib：库文件 ：没有执行入口的应用程序
/media：挂载点目录，移动设备
/mnt：挂载点目录，额外的临时文件系统
/opt：可选目录，第三方程序的安装目录
/proc：伪文件系统，内核映射文件
/sys：伪文件系统，跟硬件设备相关的属性映射文件
/tmp：临时文件, /var/tmp
/var：可变化的文件
/bin: 可执行文件, 用户命令
/sbin：管理命令

二.Linux常用命令

打开文件
vim /path/to/somefile
vim +# :打开文件，并定位于第#行
vim +：打开文件，定位至最后一行
vim +/PATTERN : 打开文件，定位至第一次被PATTERN匹配到的行的行首
关闭文件
末行模式：
:q 退出 没有动过文件
:wq 保存并退出 动过了，不后悔
:q! 不保存并退出 动过了，后悔了
:w 保存
:w! 强行保存
:wq --> :x
命令模式下：
ZZ: 保存并退出 不需要冒号，编辑模式
编辑–>输入：
i: 在当前光标所在字符的前面，转为输入模式；
a: 在当前光标所在字符的后面，转为输入模式；
o: 在当前光标所在行的下方，新建一行，并转为输入模式；
O：在当前光标所在行的上方，新建一行，并转为输入模式；
I：在当前光标所在行的行首，转换为输入模式
A：在当前光标所在行的行尾，转换为输入模式
输入–>编辑：
ESC
编辑–>末行：
：
末行–>编辑：
ESC, ESC
字符
h: 左；j: 下；k: 上；l: 右
单词
w: 移至下一个单词的词首
e: 跳至当前或下一个单词的词尾
b: 跳至当前或前一个单词的词首
行内
0: 绝对行首
^: 行首的第一个非空白字符
$: 绝对行尾
行间
G:文章末尾
3G:第3行
gg:文章开头
翻屏
ctrl：f，b
删除&替换单个字符
x:删除光标位置字符
3x:删除光标开始3个字符
r:替换光标位置字符
删除命令 ： d
dw，dd
复制粘贴&剪切
yw，yy
p
P
撤销&重做
u 撤销
ctrl+r 重做 撤销的操作
. 重复上一步的操作
s/str1/str2/gi
/：临近s命令的第一个字符为边界字符：/，@，#
g：一行内全部替换
i：忽略大小写
cut：显示切割的行数据
f：选择显示的列
s：不显示没有分隔符的行
d：自定义分隔符
sort：排序文件的行
n：按数值排序
r：倒序
t：自定义分隔符
k：选择排序列
u：合并相同行
f：忽略大小写

三.正则表达式

正则表达式是一个描述字符串集合的模式/规则
正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本
正则表达式由普通字符和元字符组成
普通字符具有自身的字符意义
元字符具有特殊意义
grep支持两种正则表达式：
基本正则表达式
扩展正则表达式
匹配操作符
\ 转意操作符，恢复元字符原有的字面意义
. 匹配任意单个字符
[] []中包含一个字符序列来匹配单个字符
^ 匹配一行字符串的起始位置
$ 匹配一行字符串的结束位置
< 匹配一个单词的起始位置
> 匹配一个单词的结束位置

****基础正则表达式：
**^ 第1个符号 ,以什么什么开头 ^m
$ 第2个符号，以什么什么结尾 m$ ，还表示空行，或空格，可以用cat -An 试一下
^$ 第3个符号，空行 什么符号都没有
. 第4个符号，表示任意 “一个字符”
\ 第5个符号， 转义字符不解析特殊符号的含义 ， \n 相当于回车键 ， \t 相当于tab键

• 第6个符号，表示前一个字符连续出现了0次或0次以上
  .* 第7个符号，表示任意字符，包括空行，正则表达式表示所有或连续出现的。
  [ ] 第8个符号，中括号，中括号内每次查找一个字符。
  [^] 第9个符号，[^acb] , 表示排除 a，b，c
  扩展正则表达式：

• 第10个符号，表示前一个字母连续出现1次或1次以上

扩展正则表达式：

• 第10个符号，表示前一个字母连续出现1次或1次以上
  | 第11个符号，（竖线）表示 " 或者 " 的意思
  () 第12个符号，（小括号）表示一个整体 反向引用 / 后向引用
  例如：sed -r ‘s#(…)(…)(…)#\1<(\2)>\3#g’ ##后向引用
  {} 第13个符号，{n,m} 前一个字符至少连续出现N次,最多连续出现m次
  a{1,10} ##表示 a最少连续出现1次，最多连续出现10次

grep 参数：
-E 等于 egerp
-n 显示行号
-i 不区分大小写
-o 只输出匹配的内容

sed 参数：
-n 指定行号
-r 支持扩展正则表达式
awk 参数：
-F 指定分隔符
NR 表示行号
$ 表示取某一列******