大数据修炼心得02

文件系统简单命令

df:显示磁盘使用情况
du:显示文件系统使用情况
ls:显示目录
ls -l:
-:表示普通文件
d:表示目录
b:表示块设备(可以分割)
c:表示字符设备(不可以分割)
l:表示连接符
s:socket
cd:切换工作目录
pwd:显示当前工作目录
mkdir:创建目录
Mkdir x/{a,b,c}dir:等价于mkdir x/adir x/bdir x/cdir
rm:删除
cp:拷贝
mv:移动
ln:链接
硬链接(ln file1 file2),文件标识为普通文件(-)
ln:硬链接 ln profile abc，把profile链接到abc上，相当于指向同一个文件，当修改profile文件时，abc也会被修改,如果删除profile,abc不会被删除,当重新在copy进来时相当于一个新的inode节点
软链接(ln -s file1 file2),文件表示为链接文件(l),相当于创建了快捷方式
同样修改一个文件，另一个文件也会被修改，但是当删除掉 file1时file2上显示的file1为红,测试file2无法被访问,当再copy进来时还是之前的inode节点

stat:元数据
当用户修改某个文件
使用stat file 可以查看一下时间的改变

touch:
当文件不存在创建文件，当文件存在刷新时间
~用户名:进入用户的家目录等价于(cd /home/username)

ll -i :显示文件详细新用，包括inode编号(索引节点)

文本操作简单命令:

cat file:查看文件，把文件内容输出到标准输出(2)
more file:分屏查看
less file:来回查看(b：回看)
head:查看前几行 head -5 file 查看前5行内容，默认显示前10行内容
tail:默认查看最后10行,tail -5 file 查看最后5行内容
tail -f file:查看文件之后添加的内容,监控文件的log信息
xargs:从标准输入构建和执行命令行
echo “/” | xargs ls -l

cut命令:(剪切一行的一部分内容)
cut -d: -f1,3 /etc/passwd
-d:分隔符，默认为tab
-f:域，把一行数据分成几个区域
Wc命令(统计行，字节，字符,字数)
wc -l file：统计文件行数
wc -c file: 统计字节数
wc -m file: 统计字符数
wc -w file:统计字数
sort命令(排序)
sort -t: -k3 -nr /etc/passwd
-t:分隔符，默认为tab
-k:从哪个区域开始可以指定开始和结束，默认为行尾
-n:按照字符串数字的值
-r:倒序

VIM学习(VI的强化版本,有助于开发人员更好的写程序)：

Vi是全屏文本编辑器

Vim /etc/profile,默认打开文件光标在第一行
Vim+#:打开文件，并定位第#行
Vim + /PATH：打开文件定位到关键字PATH的位置
Vim +:定位到文件最后一行

VI的三种模式:

1、 直接通过vi命令打开文件为编辑模式(命令模式),按键具有命令功能
2、 通过按(a,i,o,A,I,O)进入输入模式，可以正常修改文件;按ESC退出命令模式

a(append):在光标后添加字符
i(insert):在光标前插入字符
o:在光标下方新建一行
A:光标所在行的行尾添加字符
I:光标所在行的行头添加字符
O:光标所在行的上方新建一行

3、 命令模式下按冒号进入末行模式,末行模式可以输入复杂的命令,如set number等，按两次ESC退出末行模式进入命令模式

退出命令:

:q 没有编辑直接退出
:q! 强制退出
:w 保存
:wq 保存退出
:wq! 保存且强制退出
:x 保存退出

光标移动:

h:作移
j:下移
k:上移
l:右移
w:移至下一个单词的词首
e:跳至当前或下一个单词的词尾
b:跳至当前或前一个单词的词首
0:绝对行首
^:行首的第一个非空白字符
$:绝对行尾
G:文章末尾
3G:第3行
gg:文章开头

ctrl f:往下翻屏
ctrl b:往上翻

删除命令:

删除单个字符:
x:删除单个字符
[number]x:表示删除几个字符，number是几，就表示删除几个字符
删除单词:
dw:删除一个单词
[number]dw:删除多个单词,number是几，就表示删除几个单词
d$:删除到行尾
d^:删除到行首
dd:删除/剪切一整行
[number]dd:删除多行，number是几，就表示删除几行

末行模式下删除多行:
:.,10d 删除当前行到第10行的内容
:.,$-5d 删除当前行到倒数第5行的内容
:.,.+10d 删除当前行到当前行加10行的内容

撤销&恢复命令:

u:撤销删除
ctrl+r：恢复
. :上一步操作

Set设置

Set nu(number):设置行号
Set nonu(nonumber):取消设置行号
Set readonly:设置只读
Set noreadonly:取消

复制命令：

yw:复制一个单词
[number]yw:复制多行,number是几就复制几个
p:粘贴
yy:复制一整行

末行模式

替换:
:%s/after/before/gi 表示替换所有的after为before，忽略大小写;其中g(global)全部
I(ignore)忽略大小写
查找:
/after:定位到after的首字母
:/after:定位到after所在的行
n:往下找
N:往上找
:! ls /usr/java：输入模式下查找东西可以在末行模式下输入:!

正则表达式

• 正则表达式是一个描述字符串集合的模式/规则
• 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本
• 正则表达式由普通字符和元字符组成
– 普通字符具有自身的字符意义
– 元字符具有特殊意义
• grep支持两种正则表达式：
– 基本正则表达式
– 扩展正则表达式：grep -E

基本正则表达式:

元字符分类:

匹配操作符

\ 转意操作符，恢复元字符原有的字面意义
. 匹配任意单个字符
[] []中包含一个字符序列来匹配单个字符
^ 匹配一行字符串的起始位置
$ 匹配一行字符串的结束位置
\< 匹配一个单词的起始位置
\> 匹配一个单词的结束位置

重复操作符(*)

重复前面的项零次或多次

grep ‘^$’ test.txt:其中\表示把$符号转义为其本来的含义

例子:
ooxx12121212ooxx
ooxx 12121212
oox 12121212
1212 ooxx 1212
oo3xx
oo4xx
ooWxx
oomxx
$ooxx

使用grep命令查找包含ooxx字符串的文本：
grep ‘ooxx’ test.txt

使用grep命令查找包含ooxx单词字符串的文本：
grep ‘<ooxx>’ test.txt

使用grep命令查找包含ooxx字符串起始行的文本：
grep ‘^ooxx’ test.txt

使用grep命令查找包含ooxx单词起始字符串的文本：
grep ‘^ooxx>’ test.txt

表示以ooxx开始的字符串文本
grep ‘^ooxx’ test.txt

使用grep命令查找包含ooxx字符串结束行的文本：
grep ‘ooxx$’ test.txt

使用grep命令查找包含$字符串起始行的文本：
grep ‘^$’ test.txt

使用grep命令查找包含数字1或者2或者3的文本：
grep ‘[123]’ test.txt

使用grep命令查找包含数字的文本:
Grep ‘[0-9]’ test.txt

使用grep命令查找包含只有4个连续数字的文本：
grep ‘[0-9][0-9][0-9][0-9]¹’ test.txt

使用grep命令查找包含字符o与字符x之间只包含数字的文本:
grep ‘o[0-9]x’ test.txt
grep ‘o[0-9]*x’ test.txt
grep ‘o[0-9][0-9]*x’ test.txt
注意:
-重复操作符代表重复前面的项0到多个

使用grep命令查找包含字符o与字符x之间包含任意字符的文本：
grep ‘o.x’ test.txt
grep ‘o.*x’ test.txt

注意:
重复操作符代表重复前面的项0到多个

使用grep命令查找不包含数字1或者2或者3的文本:

grep ‘^[^123]*$’ test.txt

grep ‘^[^123][^123]*$’ test.txt  

可以规避空行,其中注意[]中的^表示 不在某个范围内(或者可以理解为取反)，而不是以某个字符开头的意思

扩展正则表达式:

元字符分类

匹配操作符
重复操作符
对于grep默认执行支持基本正则表达式,如果想使用扩展正则表达式需要使用\转义扩展正则表达式的元字符

匹配操作符

| 连接操作符:或
() 选择操作符
\n 引用操作符

重复操作符

? 重复前面的项零次或一次
+ 重复前面的项一次或多次
{n} 重复前面的项n次
{n,} 重复前面的项n次到多次
{n,m} 重复前面的项n次到m次

---

1. 其中^表示 取反，而不是以什么开头 ↩︎