做python爬虫测试。找了一个比较好测试的网站,基于selenium+PhantomJS填写表单在提交获取结果的功能。结果比较清晰显而易见,简单测试才好。
至于开发的环境:
环境是windows,python版本为3.5.2。selenium+PhantomJS搭建步骤参考:Python(3.5.2)集成环境(Anaconda),selenium+PhantomJS+Scrapy搭建(windows10系统下)_天南韩立的博客-CSDN博客
1、分析网站页面
浏览器中输入http://www.vvjob.com/
得到搜索框的id为search_jobs,这就足够了。
2、代码编写:
# coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.PhantomJS()
driver.get('http://www.vvjob.com/')
elem = driver.find_element_by_id('search_jobs')
elem.send_keys(u'php')
elem.send_keys(Keys.ENTER) #点击键盘上的Enter按钮
print('页面标题:', driver.title) # 页面标题
print(driver.current_url) # 当前页面url
print('搜索后的页面源码:\n', driver.page_source) # 页面源码
3、得到输出结果:
对比浏览器上输入php的信息,得到的结果和输出的源码是一致的。
新版的 selenium已经放弃PhantomJS,所以才会出现module 'selenium.webdriver' has no attribute 'PhantomJS'。PhantomJS安装都是最新版本,pip install selenium安装的也是最新版本。所以把selenium版本降低。
1.先把selenium卸载,代码如下:
pip uninstall selenium
2.安装selenium==2.48.0版本的,代码如下:
pip install selenium==2.48.0