python selenium 百度文库_【GOGO闯】python selenium自动化测试

selenium是自动化测试中常用的python库，直接控制浏览器来进行网页访问，与火狐浏览器的iMacros类似，但功能更多，跟python其他库结合能完成很多iMacros单独实现不了的功能。

常用功能如下：

1、切换ip点击百度关键词排名、竞价关键词

2、采集需要触发js或加密的网页，如百度文库，页面上的文字源码中根本不可见，可以用selenium来copy前端页面上的内容；如百度指数，所有数据加密，可以把对网页显示指数的部分截图到本地，在ORC识别

示例：

#coding:utf-8

'''导入selenium中的webdriver包，只有导入这个包才能使用webdriver api 进行自动化脚本开发'''

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.proxy import *

import time,re

'''打开firefox浏览器'''

browser = webdriver.Firefox()

'''向浏览器输入指定网址'''

browser.get("https://www.baidu.com")

'''浏览器指定宽高显示，一般用于对页面截图并保存，对测试页面的前端样式进行测评，通常用于移动端'''

browser.set_window_size(480,800)

'''浏览器窗口最大化'''

browser.maximize_window()

'''通过id=kw定位到百度输入框，并通过键盘方法send_keys()向输入框输入selenium'''

browser.find_element_by_id("kw").send_keys("python")

'''通过id=su定位搜索按钮，向按钮发送点击事件click() '''

browser.find_element_by_id("su").click()

browser.get("https://zhidao.baidu.com") #访问百度知道

'''后退到百度首页'''

browser.back()

'''前进到百度知道'''

browser.forward()

browser.get("https://www.kanzhun.com/")

browser.find_element_by_xpath("/html/body/header/div/p/a[1]").click()

browser.find_element_by_xpath("//*[@id=\"loginField\"]/li[1]/div/input").send_keys("username")

browser.find_element_by_xpath("//*[@id=\"loginField\"]/li[2]/div/input").send_keys("password")

browser.find_element_by_xpath("//*[@id=\"emailLogin\"]/p[3]/input").click()

'''获得title'''

title = browser.title

print title

'''刷百度关键词点击'''

browser.get("https://www.baidu.com")

browser.find_element_by_id("kw").send_keys(u"工资")

'''超时设置，如果超过指定时间，则抛出异常'''

browser.implicitly_wait(30)

'''通过键盘回车来代替搜素按钮的点击操作'''

browser.find_element_by_id("su").send_keys(Keys.ENTER)

line_list = browser.find_elements_by_xpath("//h3[@class='t']")

for line in line_list:

t = line.find_element_by_xpath("a")

print '%s - %s' % (t.text, type(t.text))

if u'看准网' in t.text:

print 'yes'

t.click()

browser.quit()

'''采集百度文库内容'''

browser = webdriver.Firefox()

browser.get("https://wenku.baidu.com/")

browser.find_element_by_id("kw").send_keys(u'销售工作计划')

browser.find_element_by_id("sb").send_keys(Keys.ENTER)

line_list = browser.find_elements_by_xpath("//p[@class='fl']")

'''获取当前窗口'''

nowhandle = browser.current_window_handle

for line in line_list:

print line.text

link = line.find_element_by_xpath("a").click()

'''获取所有窗口'''

allhandles=browser.window_handles

'''循环判断窗口是否为当前窗口'''

for handle in allhandles:

if handle != nowhandle:

browser.switch_to_window(handle)

txt = browser.find_element_by_xpath("//*[@id=\"reader-container-inner-3\"]").text

print re.sub(r'\s+','\n',txt.replace('\n',''))

'''关闭当前窗口'''

browser.close()

'''回到原先的窗口'''

browser.switch_to_window(nowhandle)

browser.quit()

'''切换代理'''

myProxy_list = [

"60.29.248.142:8080",

"117.136.234.9:80"

]

for myProxy in myProxy_list:

proxy = Proxy({

'proxyType': ProxyType.MANUAL,

'httpProxy': myProxy,

'ftpProxy': myProxy,

'sslProxy': myProxy,

'noProxy': '' # set this value as desired

})

browser = webdriver.Firefox(proxy=proxy)

browser.get("https://www.baidu.com")

browser.find_element_by_id("kw").send_keys("ip")

browser.find_element_by_id("su").click()

time.sleep(5)

browser.quit()

【工具】phantomjs + seleinum采集百度文库

关于如何采集百度文库的讨论详见：https://www.5118.com/discuss/topic/48

反正百度文库为了防采集已经做到了令人发指的程度，模拟spider是没有格式的，正常访问html是不包含内容的，直接请求json只包含元素定位的信息。

所以像火车头浏览器、python爬虫无法获取内容，只能用phantomjs模拟浏览器访问，再从浏览器解析过的html把相关部分的东西copy下来，但效率不高且占系统资源。

#coding:utf-8

'''采集百度文库'''

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.proxy import *

import time,re,csv

csvfile = open('jihua_wenku.csv','wb')

for word in open('word'):

word = word.strip()

'''指定phantomjs路径'''

browser = webdriver.PhantomJS(executable_path='/Users/sunjian/phantomjs-2.0.0-macosx//bin/phantomjs',service_args=['--ssl-protocol=any',])

#browser.set_window_size(300,400)

browser.get("https://wenku.baidu.com/")

browser.find_element_by_id("kw").send_keys(word.decode('utf8'))

browser.find_element_by_id("sb").send_keys(Keys.ENTER)

line_list = browser.find_elements_by_xpath("//p[@class='fl']")

n = 0

nowhandle = browser.current_window_handle

for line in line_list:

if n < 3:

try:

link = line.find_element_by_xpath("a").click()

except:

continue

allhandles=browser.window_handles

for handle in allhandles:

if handle != nowhandle:

browser.switch_to_window(handle)

try:

txt = browser.find_element_by_xpath("//*[@id=\"reader-container-inner-3\"]").text

text = re.sub(r'\s+','\n',txt.replace('\n','')).encode('utf8')

n += 1

data = []

data.append(word)

data.append(text)

writer = csv.writer(csvfile,dialect='excel')

writer.writerow(data)

print '%s，已采集第%s篇' % (word,n)

except:

continue

browser.close()

browser.switch_to_window(nowhandle)

else:

break

browser.quit()

GOGO闯公众号：流量贩子