python selenium 爬取网页审查元素_Python 使用selenium爬取拉钩网Python职位信息（爬虫）...

爬取拉勾网python招聘职位

17/10

周四 晴

整体思路：

1 使用我们最近讲的selenium模块进行模拟浏览器爬取

2 网页解析使用 xpath(底层为c语言，效率高)

3保存为csv数据

需要的模块：

import randomimport timeimport csvfrom urllib.parse import quote   from lxml import etreefrom selenium import webdriver

其中 selenium 和 lxml 需要 pip install 命令进行安装

class LaGoSpider(object):'''封装为一个类，方便操作'''    def __init__(se