![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
文章平均质量分 53
李现分现
学生
兴趣:Python,爬虫,前端,小程序
展开
-
python模拟登录
import requestsimport refrom lxml import etreeclass Login(object): def __init__(self): self.headers={ 'referer':'https://github.com/', 'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/原创 2021-10-16 16:51:23 · 397 阅读 · 0 评论 -
Scrapy框架爬取新闻!
scarpy框架,提高爬虫效率!原创 2021-10-05 10:35:46 · 622 阅读 · 0 评论 -
避坑!!!入门scrapy爬虫框架遇到的坑
Scrapy爬虫框架,从入门到放弃最近,感觉我又刑了!在经过京东反爬的阴影之后,就开始入门Scrapy爬虫框架了。很难,但获取网页效率也快得多了。例如,构造一个回调函数便可获取多页,取代了传统的selenium模拟点下一页!*前奏:*在开始scrapy学习之前,需要安装...原创 2021-09-19 09:49:26 · 195 阅读 · 0 评论