人生苦短
文章平均质量分 57
J__333
这个作者很懒,什么都没留下…
展开
-
自动识别获取ip爬取数据信息
from bs4 import BeautifulSoupimport requestsimport ip_proxyfrom urllib import parseheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C...原创 2018-08-22 22:50:02 · 620 阅读 · 0 评论 -
Scrapy的架构(爬虫框架)
这就是整个Scrapy的架构图了; 这里写图片描述Scrapy机构流程过程 Scrapy Engine》Spider Middlewares》Spiders》Scheduler 》Downloader Middlewares》Downloader》Spiders》Item PipelineScrapy Engine(引擎): 这是引擎,负责Spiders、ItemPipel...原创 2018-08-27 11:58:19 · 383 阅读 · 0 评论 -
python实现各类常见加密方式
前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示:# 方法中不传参数则是以默认的utf-8编码进行转换In [1]: '南北'.encode()Out...原创 2018-09-10 22:43:14 · 1460 阅读 · 0 评论