shell中的数据处理：grep, sed, cut, awk_cut awk grep

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

语法：

cut  [选项]...[file] 这个没有指定输出的分隔符，awk可以用OFS

-d #指定分割符 delimit
-f #指定截取区域 field 默认制表符是分隔符
-c #以字符为单位进行分割 character

注意：不加-d选项，默认为制表符，不是空格
/bin/bash #代表可以登录的用户
/sbin/nologin #代表不可以登录的用户，就是系统中自带的用户

-d与-f：
eg:以’:'为分隔符，截取出/etc/passwd的第一列跟第三列

cut -d ':' -f 1,3 /etc/passwd

eg:以’:'为分隔符，截取出/etc/passwd的第一列到第三列

cut -d ':' -f 1-3 /etc/passwd

eg:以’:'为分隔符，截取出/etc/passwd的第二列到最后一列

cut -d ':' -f 2- /etc/passwd

问题：ll之后的列为什么我用ll|cut -f1取到的是一整个字段而不是一列？
利用cut是分不了ll的，因为ll的默认输出格式是table而不是tab进行分隔的，而如果为cut执行分隔符，那么也只能是一个字符的。但是awk不同awk默认的是n个空格作为分隔符的，并且awk也支持分隔符为多个字符。解决办法是先利用sed的替换把多个空格换成一个，或者是利用awk

ls -l | sed 's/[ ]\+/ /g' | cut -d ' ' -f 9
awk '{print $9}'

linux下输入制表符：按住ctrl再按v再按i；ll -Sh挺好用的，按顺序，从大到小。

awk和cut空格分隔符区别：

• awk 以空格为分割域时,是以单个或多个连续的空格为分隔符的;支持ERE extend regular expression
• cut则是以单个空格作为分隔符，原来cut只能单个字段u作为分隔符。

cut弊端：

• 如果文件里面的某些域是由若干个空格来间隔的，那么用cut就有点麻烦了，因为cut只擅长处理“以一个字符间隔”的文本内容

-c：
eg:截取/etc/passwd文件从第二个字符到第九个字符

cut -c 2-9 /etc/passwd

eg:比如领导想叫你截取linux上面所有可登陆普通用户

grep '/bin/bash' /etc/passwd | cut -d ':' -f 1 | grep -v root

awk命令

awk的简介：其实一门编程语言，支持条件判断，数组，循环等功能，与grep，sed被称为linux三剑客
之所以叫AWK是因为取其三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符

awk的应用场景：通常对数据进行列的提取

语法：

awk '条件 {执行动作}'文件名
awk '条件1 {执行动作} 条件2 {执行动作} ...' 文件名
awk [选项] '条件1 {执行动作} 条件2 {执行动作} ...' 文件名

条件可以省略掉

特殊要点与举例说明:

printf    #格式化输出，不会自动换行。
（%ns：字符串型，n代表有多少个字符；
%ni：整型，n代表输出几个数字；
%.nf：浮点型，n代表的是小数点后有多少个小数
）

print     #打印出内容，默认会自动换行

\t      #制表符
\n      #换行符

eg：

printf '%s\t%s\t%s\t%s\t%s\t%s\n' 1 2 3 4 5 6

eg：除了BEGIN和END都是循环每一行的，每个语句可以单独打括号包住

df -h |grep /dev/vda1 | awk '{printf "/dev/vda1的使用率是："} {print $5 }'

printf在shell就可以用，print在awk才可以用

小数：

echo "scale=2; 0.13 + 0.1" | bc | awk '{printf "%.2f\n", $0}'

$1 #代表第一列
$2 #代表第二列
$0 #代表一整行

eg：

df -h | grep /dev/vda1 | awk '{print $5}'

-F #指定分割符

eg：cat /etc/passwd | awk -F":" '{print $1}'

BEGIN #在读取所有行内容前就开始执行，常常被用于修改内置变量的值
FS #BEGIN时定义分割符

eg：cat /etc/passwd | awk 'BEGIN {FS=":"} {print $1}'

END #结束的时候 执行
NR #行号

eg：df -h | awk 'NR==2 {print $5}'
awk '(NR>=20 && NR<=30) {print $1}' /etc/passwd

#注意要多个条件要用括号

awk用作统计功能

awk ‘{engineer[$1]++}END{for(i in engineer)print i “\t” engineer[i]}’
#这个定义一个数组，一旦有相同的值那么就加1；
netstat -n | awk ‘/^tcp/{++S[$NF]} END{for( a in S) print a,S[a]}’
#这个是最后一个字段加1再放到数组中
#并且发现不但可以前面加上grep的管道过滤行也可以用/^tcp/直接过滤
#这两个意思相同都是搞统计



### 如何自学黑客&网络安全


#### 黑客零基础入门学习路线&规划


**初级黑客**  
 **1、网络安全理论知识（2天）**  
 ①了解行业相关背景，前景，确定发展方向。  
 ②学习网络安全相关法律法规。  
 ③网络安全运营的概念。  
 ④等保简介、等保规定、流程和规范。（非常重要）


**2、渗透测试基础（一周）**  
 ①渗透测试的流程、分类、标准  
 ②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking  
 ③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察  
 ④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等


**3、操作系统基础（一周）**  
 ①Windows系统常见功能和命令  
 ②Kali Linux系统常见功能和命令  
 ③操作系统安全（系统入侵排查/系统加固基础）


**4、计算机网络基础（一周）**  
 ①计算机网络基础、协议和架构  
 ②网络通信原理、OSI模型、数据转发流程  
 ③常见协议解析（HTTP、TCP/IP、ARP等）  
 ④网络攻击技术与网络安全防御技术  
 ⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现


**5、数据库基础操作（2天）**  
 ①数据库基础  
 ②SQL语言基础  
 ③数据库安全加固


**6、Web渗透（1周）**  
 ①HTML、CSS和JavaScript简介  
 ②OWASP Top10  
 ③Web漏洞扫描工具  
 ④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）  
 恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k


到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？


如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！


**7、脚本编程（初级/中级/高级）**  
 在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.


如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

**8、超级黑客**  
 这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。  
 ![img](https://img-blog.csdnimg.cn/img_convert/3fd39c2ba8ec22649979f245f4221608.webp?x-oss-process=image/format,png)


#### 网络安全工程师企业级学习路线


![img](https://img-blog.csdnimg.cn/img_convert/931ac5ac21a22d230645ccf767358997.webp?x-oss-process=image/format,png)  
 如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的


视频配套资料&国内外网安书籍、文档&工具


当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

![img](https://img-blog.csdnimg.cn/img_convert/153b2778a3fe5198265bed9635d63469.webp?x-oss-process=image/format,png)  
 一些笔者自己买的、其他平台白嫖不到的视频教程。  
 ![img](https://img-blog.csdnimg.cn/img_convert/32eb4b22aa740233c5198d3c161b37e8.webp?x-oss-process=image/format,png)





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）**
![img](https://img-blog.csdnimg.cn/img_convert/98fe8c55c56b695036a219d239b018b9.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

nvert/32eb4b22aa740233c5198d3c161b37e8.webp?x-oss-process=image/format,png)





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）**
[外链图片转存中...(img-S0gEFhWW-1713173518269)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**