![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
不知名的天某人
从现在出发,勇往直前!
展开
-
遇到的防爬虫问题的解决方案
通过headers反爬虫:解决策略,伪造headers 基于用户行为反爬虫:动态变化去爬取数据,模拟普通用户的行为 通过动态更改代理ip来反爬虫 基于动态页面的反爬虫:跟踪服务器发送的ajax请求,模拟ajax请求 ...原创 2019-12-07 20:38:43 · 394 阅读 · 0 评论 -
scrapy的爬虫流程与初步创建
1.首先Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。 2.Scheduler(排序,入队)处理后,经ScrapyEngine,DownloaderMiddlewares(可选,主要有User_Agent, Proxy代理)交给Downloader。 3.Downloader向互联网发送请求,并接收下...原创 2019-12-04 23:08:36 · 98 阅读 · 0 评论 -
selenium的相关应用
在scrapy中的应用 1 、chrome_driver = r"C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe" # 确定浏览器的相关地址 2、driver = webdriver.Chrome(executable_path=chrome_driver) # 封装浏览器...原创 2019-11-28 16:46:12 · 86 阅读 · 0 评论