爬虫
文章平均质量分 85
XWenXiang
相信奇迹的人,本身就和奇迹一样了不起
展开
-
爬虫之Scrapy框架
Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。............原创 2022-08-04 22:09:17 · 2139 阅读 · 0 评论 -
爬虫之验证码
实际使用的时候验证码是不固定的,需要剪切下来使用,需要使用 pillow 模块。在其官网注册账号后,绑定微信会提供免费的1000题分,可用于验证码识别。原创 2022-08-03 18:13:47 · 855 阅读 · 0 评论 -
爬虫从入门到入牢
爬虫一般指网络爬虫。 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫安装:各种请求方式:常用的就是 requests.get() 和 requests.post()2. requests 模块介绍在 python 中模拟发送请求使用 requests 模块,或者使用 urllib 内置模块,但是其 api 使用复杂。2.1 requests ge原创 2022-08-03 16:52:01 · 4599 阅读 · 3 评论