python爬虫
小常吃不下了
这个作者很懒,什么都没留下…
展开
-
CTF—Python爬虫-WEB目录爆破和指纹识别
编写自己的web目录爆破脚本。首先我们要准备一个字典,用来爆破web目录,而且为了使扫描效果好一点,这个字典里面的内容几乎都是dedecms可能的目录。其实要实现这个功能,原理很简单,只用读取字典文件中的每一项,与访问的url拼接成一个新的url,并对这个新的url发送GET请求,选出状态码为200的url,就是网站可以访问的url。当然为了使扫描的速度尽可能的快一些,还要使用多线程。主要功能代码如下:线程的使用:同时,为了防止网站有防爬机制,对UA进行了校验,也为了防止使用同一个UA进行多原创 2021-08-06 14:31:17 · 1869 阅读 · 2 评论 -
(二)爬取网页的通用代码框架
理解requests库的异常原创 2021-07-27 14:16:44 · 77 阅读 · 0 评论 -
requests库入门
request库安装方法(1)打开命令窗口(win+R)(2)输入cmd回车打开命令提示符窗口(3)在命令提示符窗口输入(pip install resquests+回车)安装成功requests库的七个主要方法get()方法这是requests库最常用的方法Response对象的属性使用get()方法获取网页资源基本流程(1)用[r.status_code]命令来检查返回的Response对象他的状态(2)如果是200则用下面的命令去解析返回的内容(3)如果状态码是40原创 2021-07-25 21:16:36 · 189 阅读 · 1 评论 -
python网络爬虫(相关语言开发工具介绍)
常用的python IDE 工具接下来会使用这四种工具工具简介IDLE另外两个针对科学计算和数据分析的工具原创 2021-07-24 09:50:09 · 622 阅读 · 1 评论