python爬虫
F.S.D
这个作者很懒,什么都没留下…
展开
-
(python爬虫)-selenium的常规操作并爬取拉勾网信息
爬虫小练习,selenium有段时间没用了,以拉钩为例重温下,本文较为详细的总结了操作selenium的常规用法,总共四部分,前三部分常规操作,最后一部分贴出完整爬取拉钩信息并简单存储Redis数据库的代码。话不多说,本次以操练selenium为主要目的,对selenium常用操作进行简单的梳理,不再赘述selenium的安装操作。本次选用selenium+chromedriver进行操作,在...原创 2019-03-09 22:35:38 · 583 阅读 · 0 评论 -
总结下selenium爬虫的坑
1,用的Chrome,默认情况下Chrome是自动更新的,之前没碰到过这点。在爬虫时测着测着,就会报错,Chromedriver版本对不上。解决方法,一是更新的你的Chromedriver,二是取消Chrome浏览器的自动更新。这里留白,稍后补下具体解决方法。2,问题描述:centos7环境爬取京东商品页面,driver.get(url),之后查看driver.current_url,发现当前U...原创 2019-05-08 23:44:50 · 3487 阅读 · 1 评论