爬虫之selenium的介绍
一、selenium的介绍
1 自动化测试工具,控制浏览器,模拟人的行为,做爬虫为了解决使用requests模块无法执行ajax获取数据
2 使用selenium+半人工登录,获取cookie-----》给requests模块使用
二、selenium的使用
1 安装模块 pip3 install selenium
2 驱动浏览器(需要浏览器驱动---》不同去不同浏览器官网下载),下载的驱动要跟浏览器版本对应
http://npm.taobao.org/mirrors/chromedriver/
3 chrome浏览器为例
# 模块安装完毕
# 下一个谷歌浏览器驱动,放到项目根路径下
# 开始使用
from selenium import webdriver
# import time
# # 拿到一个谷歌浏览器对象
# # 打开谷歌浏览器(指定驱动在哪)
# bro=webdriver.Chrome(executable_path='chromedriver.exe')
# # 在地址栏输入http://www.baidu.com
# bro.get('http://www.cnblogs.com')
#
# print(bro.page_source) # 该页面的源代码
# time.sleep(5)
# # 关闭浏览器
# bro.close()
# 无界面浏览器
# import time
# from selenium.webdriver.chrome.options import Options
# chrome_options = Options()
# chrome_options.add_argument('window-size=1920x3000') #指定浏览器分辨率
# chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bug
# chrome_options.add_argument('--hide-scrollbars') #隐藏滚动条, 应对一些特殊页面
# chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
#
# # 隐藏浏览器界面
# chrome_options.add_argument('--headless') #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
#
# bro=webdriver.Chrome(executable_path='chromedriver.exe',options=chrome_options)
# bro.get('http://www.cnblogs.com')
#
# print(bro.page_source)
# time.sleep(5)
# # 关闭浏览器
# bro.close()
三、模拟登录百度
from selenium import webdriver
import time
bro=webdriver.Chrome(executable_path='chromedriver.exe')
bro.get('http://www.baidu.com')
bro.implicitly_wait(100) # 如果控件没有加载出来,会等待加载直到100s
# 根据a标签链接的文字来查找
login_a=bro.find_element_by_link_text('登录')
# 点击一下
login_a.click()
# 用户名登录的p标签,使用id找
username_login_p=bro.find_element_by_id('TANGRAM__PSP_11__footerULoginBtn')
username_login_p.click()
# username_input=bro.find_element_by_id('TANGRAM__PSP_11__userName')
username_input=bro.find_element_by_name('userName')
# 写入用户名
username_input.send_keys('306334678@qq.com')
password_input=bro.find_element_by_id('TANGRAM__PSP_11__password')
password_input.send_keys('sss')
login_button=bro.find_element_by_id('TANGRAM__PSP_11__submit')
time.sleep(5)
login_button.click()
time.sleep(10)
print(bro.get_cookies())
bro.close()
四、selenium的其他使用
案例一
import time
from selenium import webdriver
bro=webdriver.Chrome(executable_path='chromedriver.exe')
# bro.get('http://www.baidu.com')
# print(bro.page_source)
# 选择器
# 1、find_element_by_id 通过id获取控件
# 2、find_element_by_link_text 通过a标签的文本获取标签
# 3、find_element_by_partial_link_text 通过a标签的文本模糊匹配获取标签
# 4、find_element_by_tag_name 通过标签名找
# 5、find_element_by_class_name 通过类名找
# 6、find_element_by_name 通过name属性找
# 7、find_element_by_css_selector css选择器
# 8、find_element_by_xpath xpath选择器
# input_1=bro.find_element_by_css_selector('#kw')
# # 往输入框中写文字
# input_1.send_keys('美女')
#
# search_btn=bro.find_element_by_css_selector('#su')
# search_btn.click()
# 获取某个标签的属性,位置,id,名字..
# input_1=bro.find_element_by_css_selector('#kw')
# print(input_1.id)
# print(input_1.tag_name)
# print(input_1.get_attribute('maxlength'))
# print(input_1.location)
# print(input_1.size)
## 等待元素被加载(显示等待,隐士等待)
# bro.implicitly_wait(10) # 隐士等待,等待所有,再下方再去找一个控件,如果控件没有加载出来,最多等待10s
# 显示等待(基本不用),指定等待某个控件几秒
# from selenium.webdriver.support.wait import WebDriverWait
# from selenium.webdriver.support import expected_conditions as EC
# from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
# wait=WebDriverWait(bro,10)
# wait.until(EC.presence_of_element_located((By.ID,'kw')))
## 控件其它操作
# 点击操作
# search_btn=bro.find_element_by_css_selector('#su')
# search_btn.click() # 点击操作
# input_1=bro.find_element_by_css_selector('#kw')
# # 往输入框中写文字
# # 清空操作
# input_1.send_keys('美女')
# time.sleep(1)
# input_1.clear()
# input_1.send_keys('帅哥')
### 执行js
# bro.get('https://www.pearvideo.com/video_1715923')
# bro.execute_script('alert(urlMap.registerUrl)')
# bro.execute_script('scroll(0,30000)') # 滑倒屏幕底部,有的页面滑倒底部自动加载数据
# 模拟浏览器前进后退
#
# bro.get('http://www.baidu.com')
# bro.get('http://www.taobao.com')
# bro.get('http://www.cnblogs.com')
#
# bro.back()
#
# time.sleep(1)
# bro.forward()
# time.sleep(1)
# bro.get('http://www.cnblogs.com')
#
# time.sleep(30)
### cookie的处理
# print(type(bro.get_cookies())) # 把所有cookie取出来
# cookies=bro.get_cookies()
# import json
# with open('cookie.json','w') as f:
# json.dump(cookies,f)
#
# # 取到cookie之后,存到文件中
# # 再打开一个页面,还是这个网站,把cookie之间写入
#
# time.sleep(1)
# # 关闭浏览器
# bro.close()
### 选项卡管理
# browser=webdriver.Chrome()
# browser.get('https://www.baidu.com')
# browser.execute_script('window.open()')
#
# print(browser.window_handles) #获取所有的选项卡
# browser.switch_to_window(browser.window_handles[1])
# browser.get('https://www.taobao.com')
# time.sleep(2)
# browser.switch_to_window(browser.window_handles[0])
# browser.get('https://www.sina.com.cn')
# browser.close()
## 异常捕获
try:
browser=webdriver.Chrome()
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframssseResult')
except Exception as e:
print(e)
finally:
browser.close() # 关闭浏览器
# 动作链
# 使用selenium爬取京东商品信息
案例二
from selenium import webdriver
import json
import time
bro=webdriver.Chrome(executable_path='chromedriver.exe')
bro.get('http://www.cnblogs.com')
with open('cookie.json','r') as f:
cookie=json.load(f)
for i in cookie:
bro.add_cookie(i)
time.sleep(1)
bro.refresh()
time.sleep(1)
bro.refresh()
time.sleep(4)
bro.close()