- 博客(4)
- 收藏
- 关注
RSS订阅原创 MongDB
MongoDB 是一款介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的NOSQL数据库。它面向文档存储，而且安装和操作起来都比较简单和容易，而且它支持各种流行编程语言进行操作，如Python，Node.js，Java，C++，PHP，C#等。
2024-07-29 22:23:01
976
原创 scrapy的crawlspider爬虫
对应的crawlspider就可以实现上述需求，能够匹配满足条件的url地址，组装成Reuqest对象后自动发送给引擎，同时能够指定callback函数即：crawlspider爬虫可以按照规则自动获取连接
2024-07-08 11:34:45
1385
原创 scrapy模拟登陆
1.1 requests模块是如何实现模拟登陆的？直接携带cookies请求页面找url地址，发送post请求存储cookie1.2 selenium是如何模拟登陆的？找到对应的input标签，输入文本点击登陆1.3 scrapy有二种方法模拟登陆直接携带cookies找url地址，发送post请求存储cookie
2024-07-07 21:04:35
662
原创 Scrapy中间件
1.2 scrapy中间的作用主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构造Request对象yield给引擎）也可以对header以及cookie进行更换和处理其他根据业务需求实现响应的功能但在scrapy默认的情况下 两种中间件都在middlewares.py一个文件中爬虫中间件使用方法和下载中间件相同，常用下载中间件
2024-07-07 20:57:02
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人