总体介绍
- Selenium 简单入门教程
- 使用 Selenium 模拟访问网易数据中心的房价数据
- 使用 Pandas 处理数据
- 使用 Matplotlib 绘制图表
Selenium
安装
- conda install selenium 或 pip install selenium
- 下载浏览器驱动。在 selenium 的 download 页面,Third Party Drivers 处下载对应浏览器驱动,或使用下方链接
- Linux 和 MacOS 用户下载好之后, 将下载好的”geckodriver”文件放在你的计算机的 “/usr/bin” 或 “/usr/local/bin” 目录。并赋予执行权限,如下所示:
sudo cp geckodriver /usr/local/bin
sudo chmod +x /usr/local/bin/geckodriver
windows用户应该是把geckodriver文件放在环境变量中(PATH),详见百度经验。
或者在代码中引用文件所在位置,如下:
from selenium import webdriver
path="D:\\chromedriver.exe" #替换成geckodriver实际所在目录
driver=webdriver.Chrome(path)
driver.get("http://www.yahoo.com")
driver.close()
driver.quit()
安装火狐浏览器插件Katalon Recorder
该组件用于录制用户在浏览器中的操作,并生成python等代码,省去了自己写代码的麻烦。类似按键精灵,可以参考莫烦的视频教程。
- 工具>附加组件>搜索 Katalon Recorder >安装
- 在需要录制的页面打开 Katalon Recorder ,点击录制,然后完成你想录制的操作,点击停止录制,导出代码。例如我在百度搜索框中输入“P2P”,然后点击搜索,录制得到的代码如下:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import unittest, time, re
class UntitledTestCase(unittest.TestCase):
def setUp(self):
self.driver = webdriver.Firefox()
self.driver.implicitly_wait(30)
self.base_url = "https://www.katalon.com/"
self.verificationErrors = []
self.accept_next_alert = True
def test_untitled_test_case(self):
driver = self.driver
driver.get("https://www.baidu.com/")
driver.find_element_by_id("kw").click()
driver.find_element_by_id("kw").clear()
driver.find_element_by_id("kw").send_keys("P2P")
driver.find_element_by_id("su").click()
def is_element_present(self, how, what):
try: self.driver.find_element(by=how, value=what)
except NoSuchElementException as e: return False
return True
def is_alert_present(self):
try: self.driver.switch_to_alert()
except NoAlertPresentException as e: return False
return True
def close_alert_and_get_its_text(self):
try:
alert = self.driver.swi