python scrapy框架 +selenium 爬取github中的变化部分的内容的坑
最近3个星期做了一个有关爬虫的项目,本来以为一个星期就可以搞定的结果没想到居然整了三个星期,其中各种坑!!!内容可能很多,也很碎,写这篇文章的主要目的是为了给自己梳理一下通过解决这些坑所学到的知识,也希望给大家带来帮助! 首先,总结一下写爬虫的思路。主要有以下三点: 1.爬取完整的网页(用到了scrapy+selenium) 2.提取网页的中你想要...
原创
2019-06-13 19:42:31 ·
675 阅读 ·
0 评论