![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
Thomas_Lean
这里只记录总结技术经验,有任何错误尽管提出哈
展开
-
Scrapy结合Selenium采集数据简单实例
做爬虫的都不难发现,有的页面分页,点击下一页,或者指定某页,网址居然不变,如果是基于scrapy框架采集,那么就无法使用yield迭代url进行页面数据解析采集。前段时间刚好有用过selenium自动化模拟打开浏览器采集数据,不能能模拟人为的一些鼠标、键盘操作。很强大,照样能跟scrapy结合的很完美!!!以下就来打一个简单的在百度输入框输入关键词并点击百度一下进行页面的查询操作,然后再解析页...原创 2020-04-13 11:12:59 · 1275 阅读 · 0 评论 -
CentOS搭建Scrapy项目踩坑经历
最近心血来潮想在CentOS上整一个scrapy爬虫项目,经过一番安装后,也提示成功安装后,正当要利用脚手架创建爬虫项目是,居然没创建成功:[root@localhost Spider]# scrapy startproject jobsScrapy 2.0.1 requires Python 3.5最初的想法就是去更改python默认版本,操作如下:查看python安装路径:[roo...原创 2020-04-13 10:45:25 · 734 阅读 · 0 评论