python爬虫入门自我答疑:selenium的介绍

selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。

selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。

为了使用selenium 我下载安装一个与自用浏览器配套的chormedriver。

在使用之前,如果需要指定浏览器:

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()

访问你想让它打开的页面:

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("http://www.baidu.com")

爬虫时常用它来获取cookies:

get_cookies()
delete_all_cookes()
add_cookie()

需要用它来查找元素:

这里列举一下常用的查找元素方法:

find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

或许需要它代替你完成输入或点击操作:

#清空账号框中的内容
driver.find_element_by_xpath("./*//input[@name='account']").clear()
#自动填入登录用户名
driver.find_element_by_xpath("./*//input[@name='account']").send_keys(user)
#清空密码框中的内容
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自动填入登录密码
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值