爬虫
文章平均质量分 71
qitianjin
待我强大给你天下!
展开
-
爬虫验证码识别
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/1/20 16:21 # @Author : qitianjin # @Site : # @File : captcha.py # @Software: PyCharm Community Edition # from Python.work.procu...原创 2018-06-05 20:39:01 · 487 阅读 · 0 评论 -
安装使用Scrapy
Scrapy运行流程大概如下: 引擎从调度器中取出一个链接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来,并封装成应答包(Response) 爬虫解析Response 解析出实体(Item),则交给实体管道进行进一步的处理 解析出的是链接(URL),则把URL交给调度器等待抓取 ...原创 2018-08-29 20:04:03 · 178 阅读 · 0 评论