小菜狗的Web-CTF知识点（1）

Web-CTF基础解题必备的知识

1.在火狐浏览器F12查看源代码

，注意看隐藏的JavaScript文件，和html，base等编码，需要时要解码，并查看网络状况以判断服务器和网页状态

2.robots协议

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

创建robots.txt文件需要注意的问题：

1. 必须是txt结尾的纯文本文件；
2. 文件名所有字母必须是小写；
3. 文件必须要放在网站根目录下；放在网站根目录下

robots.txt文件写法：

User-agent: * 这里的代表的所有的搜索引擎种类，是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

简单来说：allow后面加允许访问的网页，disallow后面加不允许访问的页面。

在访问一个网站前，访问者需要遵守这个协议，哪些文件允许看，允许抓取，哪些不允许，再进行下一步访问。

3.back up备份

一个网络的文件是可以备份的，如果一个文件被删除的话，可以通过再url后面输
入/xxx.php.bak来下载这个备份文件。

4.COOKIE曲奇

cookie是什么?

其实cookies是由网络服务器存储在你电脑硬盘上的一个txt类型的小文件，它和你的网络浏览行为有关，所以存储在你电脑上的cookies就好像你的一张身份证，你电脑上的cookies和其他电脑上的cookies是不一样的;cookies不能被视作代码执行，也不能成为病毒，所以它对你基本无害。

cookie是什么?有什么作用?

cookies的作用主要是，当你访问了某些网页，并且对网页的一些设置进行修改，cookies就能跟踪并记录到这些修改，当你下一次访问这个网页的时候，这个网页会分析你电脑上的cookies，进而采取措施像你返回更符合你个性化的网页;

当然，目前大部分广告的定位基础也是基于cookies的，比如你此前访问了大量的健身类网站，cookies记录了你的访问行为，广告主就能够根据你的访问行为，向你推送健身类的广告。

打开F12源代码，在网络那里可以查看cookie,cookie的本质是文件，所以可以在url栏那里访问cookie的文件以得到身份信息（或在源代码中得到身份信息）

5.修改网页前端

前端，也称web前端，通俗一点就是网页，运行在PC端和移动端等浏览器展示给用户的网
页前端开发最基本（HTML,CSS,JavaScript)也是最核心，对于网站来说，通常是指网站的前台部分，包括网站的表现层和结构层（通俗点就是用户可以看到的部分）。
总结一下，浏览器、APP、应用程序的界面展现和用户交互就是前端。

可以使用bp抓包进行修改代码

用户可以修改前端代码以改变网站的前端功能。
所以必须要学习前端的一些函数及功能代码。

6.编码与转码

在这里插入34;,79&#x：html编码

NTUsNTYsNTQsNzksMTE1L：base64编码

%35%35%2c%35%36%2c%35%34%2c%37%39：URL编码

x/35x/35x/x/35x/36x/2cx/35x/34: javascript编码代码片

把十进制数字或符号可以转为这些编码。
另外，也可以转成ASCII编码，其对应表格如下**：**

7.PHP前端代码

8.对于各种的网络的数据传输，HTTP协议及其web数据运行原理，get,post传输参数…

例如：curl -d b=2 http://xxxxxxxxxx/?a=1 是用cmd命令行传输参数并展示出服务器端的响应。