网安—Python爬虫
主要为Python的爬虫设计及其安全开发与测试
胡乱huluan
此人并不懒,只是不想留下什么
展开
-
Python爬虫 Re库与正则表达式的细节解析
Python爬虫(二十三)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— Re库与正则表达式的细节解析 ——文章目录Python爬虫(二十三)—— Re库与正则表达式的细节解析 ——1. 麻烦的反斜杠2. 零宽断言1. 麻烦的反斜杠上一篇中我们已经提到了,正则表达式使用 ‘’ 字符来使得一些普通的字符拥有特殊的能力(例如 \d表示匹...原创 2020-03-28 16:58:25 · 343 阅读 · 0 评论 -
Python爬虫 Re库应用详解
Python爬虫(二十二)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— Re库应用详解 ——文章目录Python爬虫(二十二)—— Re库应用详解 ——1.正则表达式的表示类型2.Re库的主要功能函数3. 功能函数主要参数1.正则表达式的表示类型raw string类型(原生字符串类型)re库采用raw string类型表示正...原创 2020-03-28 16:58:03 · 716 阅读 · 0 评论 -
Python爬虫 正则表达式应用详解
Python爬虫(二十一)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— 正则表达式应用详解 ——文章目录Python爬虫(二十一)—— 正则表达式应用详解 ——1.1.正则表达式:regular expression,也称regex,简称 RE正则表达式是用来简洁表达一组字符串的表达式通用的字符串表达框架简洁表达一...原创 2020-03-25 22:43:17 · 1492 阅读 · 0 评论 -
Python爬虫 爬虫需要遵守的规则
Python爬虫(二十)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— 爬虫需要遵守的规则 ——文章目录Python爬虫(二十)—— 爬虫需要遵守的规则 ——网络爬虫的尺寸网络爬虫引发的问题网络爬虫的限制Robots协议Robots协议的遵守方式网络爬虫的尺寸为了爬取网页的爬虫:小规模,数据量小,爬取速度不敏感。建议使用Requ...原创 2020-03-24 21:59:53 · 3882 阅读 · 2 评论 -
Python爬虫 xunfeng应用详解
Python爬虫(十九)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— xunfeng应用详解 ——文章目录Python爬虫(十九)—— xunfeng应用详解 ——1.作用2. 安装及使用3. 代码赏析4. 插件编写5. mongodb命令1.作用巡风是一款适用于企业内网的漏洞快速应急、巡航扫描系统,通过搜索功能可清晰的了解内部网络...原创 2020-03-21 15:05:24 · 520 阅读 · 0 评论 -
Python爬虫 xunfeng的Linux安装
Python爬虫(十八)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— xunfeng的Linux安装——巡风支持多平台安装,包括windows、linux、OSX、docker。我们今天只使用Linux进行安装。由于Linux版本众多,我们只讲CentOS、Ubuntu和Debian,以下在没有特别说明的情况下,视为三个版本操作一样:...原创 2020-03-20 20:21:01 · 268 阅读 · 0 评论 -
Python爬虫 PIL库实践——识别验证码
Python爬虫(十七)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— PIL库实践 识别验证码 ——文章目录Python爬虫(十七)—— PIL库实践 识别验证码 ——我们用下面两张图来作为主要例子:首先我们观察这两张验证码的图片,不难发现,其实这是很普通的验证码,纯数字且数字本身没有发生变形。接下来我们对这两张图片进行初步的识...原创 2020-03-20 20:13:53 · 519 阅读 · 0 评论 -
Python爬虫 PIL库应用详解
Python爬虫(十六)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— PIL库image类应用详解 ——文章目录Python爬虫(十六)—— PIL库image类应用详解 ——1. 方法x<100,return 255,otherwise return 0将out_G粘贴回来,但是只保留'R'通道像素值<100的部分合并...原创 2020-03-14 23:09:29 · 591 阅读 · 0 评论 -
Python爬虫 subprocess库实践——连续输出与快速扫描端口
Python爬虫(十五)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— threading库实践 连续输出与快速扫描端口 ——文章目录Python爬虫(十五)—— threading库实践 连续输出与快速扫描端口 ——1. 连续输出2. 快速扫描端口1. 连续输出我们利用subprocess库进行对目标的连续输出:#coding:u...原创 2020-03-14 17:21:12 · 327 阅读 · 0 评论 -
Python爬虫 subprocess库应用详解
Python爬虫(十四)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— subprocess库应用详解 ——文章目录Python爬虫(十四)—— subprocess库应用详解 ——1.常用函数subprocess库是一个十分强大且常用的库,它可以用来调用第三方工具(例如:exe、另一个python文件、命令行工具)。1.常用函数...原创 2020-03-11 16:04:22 · 670 阅读 · 0 评论 -
Python爬虫 threading库实践——多线程对ip进行tcp端口探测
Python爬虫(十三)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— threading库实践 多线程对ip进行tcp端口探测 ——#coding:utf-8#用多线程对ip进行tcp端口探测import threadingimport socketimport time#获得扫描ipdef getip(): i...原创 2020-03-10 20:50:17 · 316 阅读 · 0 评论 -
Python爬虫 threading库应用详解
# Python爬虫(十二)*学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。*## —— threading库应用详解 ——...原创 2020-03-10 10:09:09 · 681 阅读 · 0 评论 -
Python爬虫 multiprocessing库实践——进程模拟
Python爬虫(十一)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— socket库实践 模拟连接发送接收数据 ——文章目录Python爬虫(十一)—— socket库实践 模拟连接发送接收数据 ——1.构造多个进程2. daemon属性(父进程为守护进程)1.构造多个进程import multiprocessingimport ...原创 2020-03-08 16:13:42 · 255 阅读 · 0 评论 -
Python爬虫 multiprocessing库应用详解
Python爬虫(十)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— multiprocessing库应用详解 ——文章目录Python爬虫(十)—— multiprocessing库应用详解 ——...原创 2020-03-07 22:03:48 · 616 阅读 · 0 评论 -
Python爬虫 socket库详解及实践全部相关代码
Python爬虫(九)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— BeautifulSoup库详解及实践相关代码 ——...原创 2020-03-01 22:06:06 · 230 阅读 · 0 评论 -
Python爬虫 socket库实践——模拟连接发送接收数据
Python爬虫(八)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— socket库应用实践 ——1.模拟登陆引入socket库import socket设置socket,主机和端口,并将主机名和端口绑定在一起,同时开启侦听。s = socket.socket(socket.AF_INET, socket.SOCK_ST...原创 2020-03-01 21:55:43 · 685 阅读 · 0 评论 -
Python爬虫 socket库应用详解
Python爬虫(七)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— socket库应用详解 ——文章目录Python爬虫(七)—— socket库应用详解 ——一.socket库的函数二.socket库的方法一.socket库的函数gethostname():返回主机名。gethostbyname():将host主机名转...原创 2020-03-01 21:53:54 · 3607 阅读 · 0 评论 -
Python爬虫 BeautifulSoup库详解及实践全部相关代码
Python爬虫(五)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— BeautifulSoup库应用详解相关代码 ——...原创 2020-02-22 16:33:23 · 565 阅读 · 0 评论 -
Python爬虫 BeautifulSoup库实践——保存网页图片
Python爬虫(五)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— BeautifulSoup库应用实践之保存网页 ——引入库:import requestsfrom bs4 import BeautifulSoup确定保存路径(推荐使用绝对路径):PATH = "/Users/Ezy/Documents/Test/f...原创 2020-02-21 22:45:39 · 1471 阅读 · 0 评论 -
Python爬虫 BeautifulSoup库应用详解
Python爬虫(四)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— BeautifulSoup库应用详解 ——文章目录Python爬虫(四)—— BeautifulSoup库应用详解 ——一.安装BeautifulSoup库二.导入BeautifulSoup库三.requests库的方法一.安装BeautifulSoup库可以直接使...原创 2020-02-20 23:02:06 · 3154 阅读 · 0 评论 -
Python爬虫 json库应用详解
Python安全(三)学习Python安全过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— json库应用详解 ——文章目录Python安全(三)—— json库应用详解 ——一.json库简介二.将JSON字符串转为Python字典或列表二.将Python字典或列表转为JSON字符串一.json库简介JSON(JavaScript Object Nota...原创 2020-02-18 23:23:28 · 652 阅读 · 0 评论 -
Python爬虫 requests库实践
Python爬虫(二)学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— requests库实践 ——文章目录Python爬虫(二)—— requests库实践 ——...原创 2020-03-25 20:35:22 · 560 阅读 · 0 评论 -
Python爬虫 requests库应用详解
Python安全(一)学习Python安全过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。—— requests库应用(一) ——文章目录Python安全(一)—— requests库应用(一) ——一.安装requests库二.一.安装requests库可以直接使用pip安装,如果电脑上没安装pip,可以到以下网址教程中安装。Linux:安装教程。Win...原创 2020-02-18 22:51:59 · 571 阅读 · 0 评论