![](https://img-blog.csdnimg.cn/1aaf850f193b47d6813d0ef4a69cdf51.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
scrapy
文章平均质量分 52
scrapy爬虫系列
文子阳
GOOD LUCK
展开
-
Scrapy第十五篇:后起之秀-Playwright
Playwright 是微软在 2020 年初开源的新一代自动化测试工具,它的功能类似于 Selenium、Pyppeteer 等,它的功能非常强大,使用便捷简单,缺点是更新较快,市面上相关文档又少。原创 2022-08-19 14:43:00 · 4855 阅读 · 0 评论 -
Scrapy第十四篇:数据压缩lzma算法
html是大量的文本内容,压缩存储会大大减少磁盘使用量,这里介绍一下zma压缩算法。原创 2022-08-18 15:31:43 · 702 阅读 · 0 评论 -
Scrapy第十三篇:编码检测cchardet
cchardet是chardet的升级版,功能和chardet完全一样(requests依赖包采用的就是chardet),用来检测一个字节数组的编码。由于是用C和C++实现的,所以它的速度非常快,非常适合在爬虫中用来判断网页的编码。。...原创 2022-08-18 10:44:17 · 1229 阅读 · 0 评论 -
Scrapy第十一(④)篇:selenium4模拟器-本地代理(单线程)
代码】Scrapy第十二篇:selenium4模拟器-本地代理。原创 2022-08-16 21:01:22 · 662 阅读 · 0 评论 -
Scrapy第十一(③)篇:selenium4模拟器-抓取Ajax请求(单线程)
在Vue、React横行的时代,前后端分离使用Ajax做交互的比比皆是。Ajax请求往往带有各种加密验证,解密起来费力气。最好是selenium直接拦截ajax的结果。原创 2022-08-18 23:40:18 · 1444 阅读 · 0 评论 -
Scrapy第十一(②)篇:selenium4模拟器中间件-多线程并发
②将spider.Request()方法换成SeleniumRequest()【重写start_requests方法】③修改spider文件,将SeleniumRequest()的handle参数指定为操作中间件。①为spider加上装饰器@selenium_support。①编写操作中间件:middlewares.py。②启动中间件:settings.py。.........原创 2022-08-15 23:15:36 · 928 阅读 · 1 评论 -
Scrapy第十一(①)篇:selenium4模拟器中间件
为什么要使用模拟器?在使用request的时候,大型网站都有很多的反爬机制,典型比如滑动验证码、弹窗广告、弹窗验证、登录认证、Ajax异步加载...等等,这些是request很难绕过去的。这时候可以使用selenium模拟器来模拟用户操作:Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等...................原创 2022-08-15 16:44:23 · 2791 阅读 · 0 评论 -
Scrapy第十篇:IP代理中间件
2.编写中间件:打开middlewares.py文件,新建中间件ProxyMiddleware。1.编写工具类util.py,封装获取阿里云代理IP。3.开启中间件:打开settings.py。我这里使用的是阿里云的IP代理服务。原创 2022-08-15 15:25:17 · 1196 阅读 · 0 评论 -
Scrapy第九篇:User-Agent中间件
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached_苍穹之跃的博客-CSDN博客。原创 2022-08-15 15:06:43 · 276 阅读 · 0 评论 -
Scrapy第八篇:数据存储(scrapy融合peewee)
【代码】Scrapy第八篇:数据存储(scrapy融合peewee)原创 2022-08-15 12:04:07 · 512 阅读 · 0 评论 -
Scrapy第七篇:xpath部分注意点
如果定位不到,则说明未加载完毕,可以结合WebDriverWait使用,等待元素出现为止。原创 2022-08-15 10:02:11 · 435 阅读 · 0 评论 -
Scrapy第六篇:日志记录、try except和traceback模块
在解析过程中,为了保证程序的运行,我们必须try except起来,防止因为个别页面解析错误导致程序奔溃。并做好日志记录,用来追查采集遗漏的原因。日志记录:①时间、②原因、③出错文件、④出错行。............原创 2022-08-15 10:33:49 · 464 阅读 · 0 评论 -
Scrapy第五篇:请求传参、parse方法传参
代码】scrapy解析方法parse传参。原创 2022-08-12 17:08:01 · 1589 阅读 · 1 评论 -
Scrapy第四篇:复杂的起始start_urls和采集遗漏问题
有时候我们的起始url并不是单纯的url数组,可能是从数据库读取,可能是从文件中读取,也可能是通过requests访问远程API获取的。这时候就无法使用start_urls = []的形式了。需要采用一下方式:(以读取文件为例)①Request中加入参数,主爬虫文件中的parse方法的请求函数中加入参数:dont_filter=True。③删除allowed_domains。有时候是被限制域给过滤掉了。②修改Setting.py文件。...原创 2022-08-15 09:20:31 · 1502 阅读 · 0 评论 -
Scrapy第三(②)篇:创建scrapy项目
修改Anaconda镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes此时在C:\Users\Administrator(这里是电脑用户名)下就会生成配置文件.condarcchannels: - https://mirrors.tuna.tsinghua.edu.cn/anaco。...原创 2022-08-14 19:57:07 · 4346 阅读 · 0 评论 -
Scrapy第三(①)篇:安装Scrapy
此时在地址C:\Users\电脑用户名;下就会生成配置文件.condarc。修改镜像源:cmd执行以下两条命令。前提是已经安装了Anaconda。原创 2022-08-20 16:33:07 · 307 阅读 · 0 评论 -
Scrapy第二(②)篇:python环境之多环境控制windows10安装 pyenv
再次执行安装命令:可以获得安装包地址。变量值:第三步获得的安装包地址。原创 2022-08-13 12:10:52 · 411 阅读 · 0 评论 -
Scrapy第二(①)篇python环境之依赖管理器Anaconda(python3.9)
②清华镜像(缺失python3.7之后的版本)①官网(各个版本都有)原创 2022-08-20 15:38:30 · 379 阅读 · 0 评论 -
Scrapy第一篇:python安装
1.下载安装包:选择自己想要的版本。原创 2022-08-15 20:32:29 · 565 阅读 · 0 评论