Selenium
pylemon
这个作者很懒,什么都没留下…
展开
-
实战-selenium完美实现拉勾信息爬取-1(Requsets)
Requests页面解析(练习)点击查看Selenium实现拉勾网信息爬取import requestsfrom lxml import etreefrom h_selenium.lagou_headers import HEADERSimport refrom time import sleepfrom random import randintdef request_...原创 2018-08-01 12:06:25 · 381 阅读 · 0 评论 -
selenium-python-设置代理IP操作与WebElement元素
设置代理IP有时候频繁的爬取一些网页。服务器发现你是爬虫会封掉你的ip,这时候需要更改ip,不同的浏览器有不同的实现方式。from selenium import webdriveroptions = webdriver.ChromeOptions() # 设置谷歌浏览器的一些选项# proxy 代理 options 选项options.add_argument(r'--pro...原创 2018-08-07 23:46:13 · 10032 阅读 · 0 评论 -
selenium-python-隐式等待与显示等待
页面等待隐式等待:调用driver.implicitly_wait 那么在获取不可用的元素之前,会等待10秒中的时间driver = webdriver.Chrome()driver.implicitly_wait(10)driver.get(‘https:\\www.baidu.com’)显示等待:显示等待是表明某个条件成立才执行获取元素的才做、也可以等待的时候指定...原创 2018-08-07 23:39:15 · 7945 阅读 · 3 评论 -
selenium-python-行为链与cookie操作
行为链有时候在页面中的操作可能要有很多步,那么这时候可以使用鼠标行为链ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsdriver_path = r'E:\ven...原创 2018-08-07 23:35:13 · 430 阅读 · 0 评论 -
selenium-python-操作表单元素与切换窗口
selenium常用操作 - 操作表单元素输入框:# input_tag 是通过xpath获取的表单中input元素input_tag.send_keys() # 发送内容input_tag.clear() # 清除内容input_tag.click() # 点击select选择框:select不能直接点击。因为点击后还需要选中元素,这时候selenium就提...原创 2018-08-07 23:33:26 · 2051 阅读 · 0 评论 -
selenium-python-关闭与定位操作
selenium常用操作关闭网页driver.close() # 关闭当前页面driver.quit() # 退出浏览器定位元素# 根据id来查找元素find_element_by_id()# 根据类名查找元素find_element_by_class_name()# 根据name属性值查找元素find_element_by_name()# 根据标签名查找元...原创 2018-08-07 23:10:18 · 832 阅读 · 0 评论 -
Selenium-快速使用
点击查看 selenium-python-关闭与定位操作点击查看 selenium-python-操作表单元素与切换窗口点击查看 selenium-python-行为链与cookie操作点击查看 selenium-python-隐式等待与显示等待点击查看 selenium-python-设置代理IP操作与WebElement元素 Selenium获取动态数据Selenium...原创 2018-08-07 23:01:57 · 240 阅读 · 0 评论 -
实战-selenium完美实现拉勾信息爬取-2
获取北京python工作岗位实现了mongodb数据库和csv文件存在的问题:偶尔文件执行报错--Stale Element Reference Exception好像是JavaScript把网页给刷新了,那么操作的时候就会碰到Stale Element Reference Exception。所以这个异常并不是每次都会产生,也不是你想复现就能复现。小白:希望大家可以回复解决办法和优化...原创 2018-08-02 19:03:50 · 481 阅读 · 0 评论 -
实战-selenium实现BOSS直聘网信息爬取
实现了monodb和csv的文件写入mongodb如下:这里学历要求获取错了,取错列表下标了...,代码已经改正Excel如下: 这里学历要求获取错了,取错列表下标了...,代码已经改正待解决问题:由于过多的请求页面有时弹出验证码,代码现在只能通过手动输入解决,我这里设置了等待时间人工输入了验证码可继续写入。 最简单的方法就是可以通过更换ip去实现跳过验证码...原创 2018-08-03 12:09:12 · 3226 阅读 · 1 评论