- 博客(4)
- 收藏
- 关注
原创 MongDB
MongoDB 是一款介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的NOSQL数据库。它面向文档存储,而且安装和操作起来都比较简单和容易,而且它支持各种流行编程语言进行操作,如Python,Node.js,Java,C++,PHP,C#等。
2024-07-29 22:23:01
976
原创 scrapy的crawlspider爬虫
对应的crawlspider就可以实现上述需求,能够匹配满足条件的url地址,组装成Reuqest对象后自动发送给引擎,同时能够指定callback函数即:crawlspider爬虫可以按照规则自动获取连接
2024-07-08 11:34:45
1385
原创 scrapy模拟登陆
1.1 requests模块是如何实现模拟登陆的?直接携带cookies请求页面找url地址,发送post请求存储cookie1.2 selenium是如何模拟登陆的?找到对应的input标签,输入文本点击登陆1.3 scrapy有二种方法模拟登陆直接携带cookies找url地址,发送post请求存储cookie
2024-07-07 21:04:35
662
原创 Scrapy中间件
1.2 scrapy中间的作用主要功能是在爬虫运行过程中进行一些处理,如对非200响应的重试(重新构造Request对象yield给引擎)也可以对header以及cookie进行更换和处理其他根据业务需求实现响应的功能但在scrapy默认的情况下 两种中间件都在middlewares.py一个文件中爬虫中间件使用方法和下载中间件相同,常用下载中间件
2024-07-07 20:57:02
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人