python爬虫之51job工作搜索

简介

  大多数情况下我们通过urllib2等模块可以对单纯的html进行爬取分析，但是当我们遇到的页面是js渲染的，我们需要去分析一个一个后台的请求，这就太蛋疼了。若我们使用像浏览器一样的工具来处理js渲染的页面，然后再通过BeautifulSoup来处理那就很容易了。
  本文我们使用PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎；它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG；具备 Chrome，Safari，Firefox 等主流界面式浏览器同样的访问效果。
   另外在python下我们需要使用模块Selenium来驱动pythomjs，当然安装相应的插件后，我们通过Selenium也可以驱动Chrome，Safari，Firefox，IE等主流浏览器。
   最终我们使用PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理，通过python+Selenium+phantomsj就可以随意抓取了。

实例

需求：通过输入关键字，来获取51job上的工作信息，并打印输出工作职位、职位链接、公司名、薪资、地点及发布日期等信息。

原理：分析51job界面，访问过程中有很多链接会打开新的浏览器tab页和很多点击按钮产生不同的搜索信息，因此通过单纯爬取html会很费劲。而我们通过phantomjs来打开网页会很方便，生成html源代码后，再selenium+BeautifulSoup分析就省事多了。

环境部署：
python2.7+BeautifulSoup+Selenium+phantomjs

python2.7+BeautifulSoup的安装请参考博文python爬虫之模拟登陆csdn 中安装部分。

#安装phantomjs
#http://phantomjs.org/build.html
#centos6.5系统安装(在5.5等老版本下，由于glibc太老安装失败)
#安装依赖
yum -y install gcc gcc-c++ make flex bison gperf ruby openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel
#下载安装包并解压
[root@test1 spider]# /usr/local/phantomjs/bin/phantomjs -v
2.1.1

#正确输出版本号则表示安装成功

#安装Selenium
pip2.7 install Selenium

代码实现

#!/usr/bin/env python2.7
#-*- coding: utf-8 -*-
#comment: python+selenium+phantomjs 实现51job工作抓取

import sys
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException
from bs4 import BeautifulSoup

#访问51job并进入搜索页面
def open51job(url,keys):
    driver = webdriver.PhantomJS(executable_path='/usr/local/phantomjs/bin/phantomjs')
    driver.get(url)
    print u"进入...." + driver.title
    #进入页面，默认搜索框为textbox1
    elem = driver.find_element_by_class_name("textbox1")
    elem.clear()
    elem.send_keys(keys)
    elem.submit()
    #close browser tab
    driver.close()
    #switch to next tab
    for handle in driver.window_handles:
        driver.switch_to_window(handle)
    print u"进入...." + driver.title
    time.sleep(2)
    return driver

#搜索工作
def searchJob(driver):
    #获取当前页所有的工作信息
    data = driver.page_source
    content = BeautifulSoup(data, 'lxml')
    position = content.find_all("p", {"class":"t1"})
    company = content.find_all("span", {"class":"t2"})
    location = content.find_all("span", {"class":"t3"})
    salary = content.find_all("span", {"class":"t4"})
    publish = content.find_all("span", {"class":"t5"})
    i = 1
    for each in position:
        print "##################第" + str(i) + "个job###############"
        print u"职位名:" + each.a.get("title")
        print u"职位链接:" + each.a.get("href")
        print u"公司名:" + company[i].string
        print u"工作地点:" + location[i].string
        if salary[i].string == "":
            print u"薪资:" + salary[i].string
        print u"发布时间:" + publish[i].string
        print "\n"
        i = i + 1
    return driver 

#切换到下一页
def nextPage(driver):
    try:
        page_num = driver.find_element_by_link_text("下一页")
        page_num.click()
    except NoSuchElementException:
        print u"搜索完毕"
        flag = 0
        return flag

if __name__ == '__main__':  
    url = "http://www.51job.com/qingdao"
    keys = raw_input("请输入搜索关键词:").decode(sys.stdin.encoding)
print "请稍等片刻...."
    num = 1 
    driver = open51job(url,keys)
    while True:
        print u"#######################第" + str(num) + u"页工作信息如下########################\n"
        driver = searchJob(driver)
        flag = nextPage(driver)
        if flag == 0:
            break
        num = num + 1
    driver.close()

要点：
1.每次分页切换时，要定位到“下一页”这个链接，当找不到这个链接会报exception，说明当前分页位于最后一页，则跳出循环。
2.html源码中的tag有很多子tag，利用Selenium搜索有局限性，因此使用的BeatufifulSoup
3.每当浏览器tab用完后，需要通过driver.close()关闭tab
4.BeautifulSoup搜索具有class的tag时，使用find_all(“span”, {“class”:”t4”})，而不是find_all(“span”, class_=”t4”)
5.input标签输入关键字后，通过submit()触发搜索，而不是click()
6.进入51job/qingdao后，默认搜索框为textbox1

运行代码

#每页有50个工作信息，这个关键词搜到的有两页
[root@rd-mysql-test1 spider]# python2.7 pps.py
请输入搜索关键词:韩国语
请稍等片刻....
进入....【青岛招聘网_青岛人才网_青岛最新招聘信息】-前程无忧
进入....【青岛,韩国语招聘，求职】-前程无忧
#######################第1页工作信息如下########################

##################第1个job###############
职位名:韩国语相关
职位链接:http://jobs.51job.com/qingdao-lcq/71126401.html?s=0
公司名:青岛杰亚希教育咨询有限公司
工作地点:青岛-李沧区
发布时间:08-26


##################第2个job###############
职位名:韩国语教师（黄岛开发区）
职位链接:http://jobs.51job.com/qingdao-hdq/70702127.html?s=0
公司名:青岛亚联教育咨询管理有限公司
工作地点:青岛-黄岛区
发布时间:08-26


##################第3个job###############
职位名:韩国语翻译
职位链接:http://jobs.51job.com/qingdao-snq/80744014.html?s=0
公司名:赢联科技集团有限公司
工作地点:青岛-市南区
发布时间:08-26

.............

#######################第2页工作信息如下########################

##################第1个job###############
职位名:全&***韩语老师（外企模式-待遇福利升职等制度完善）
职位链接:http://jobs.51job.com/qingdao/79670539.html?s=0
公司名:青岛锦才教育
工作地点:青岛
发布时间:08-16


##################第2个job###############
职位名:客服专员/办公文员  （2600-2800元/月）
职位链接:http://jobs.51job.com/qingdao-cyq/77470938.html?s=0
公司名:青岛锦才教育
工作地点:青岛-城阳区
发布时间:08-16


##################第3个job###############
职位名:销售顾问（无责薪3000元+提成+年终奖+带薪年假+五险）
职位链接:http://jobs.51job.com/qingdao/73211692.html?s=0
公司名:青岛锦才教育
工作地点:青岛
发布时间:08-16


##################第4个job###############
职位名:市场/营销主管
职位链接:http://jobs.51job.com/qingdao/74802887.html?s=0
公司名:青岛锦才教育
工作地点:青岛
发布时间:08-16

...........

搜索完毕