使用selenium爬虫抓取数据

---

总体介绍

• Selenium 简单入门教程
• 使用 Selenium 模拟访问网易数据中心的房价数据
• 使用 Pandas 处理数据
• 使用 Matplotlib 绘制图表

Selenium

安装

• conda install selenium 或 pip install selenium
• 下载浏览器驱动。在 selenium 的 download 页面，Third Party Drivers 处下载对应浏览器驱动，或使用下方链接
  • Chrome driver
  • Mozilla Firefox driver
  • Safari driver
• Linux 和 MacOS 用户下载好之后, 将下载好的”geckodriver”文件放在你的计算机的 “/usr/bin” 或 “/usr/local/bin” 目录。并赋予执行权限，如下所示：

sudo cp geckodriver /usr/local/bin
sudo chmod +x /usr/local/bin/geckodriver

windows用户应该是把geckodriver文件放在环境变量中（PATH），详见百度经验。
或者在代码中引用文件所在位置，如下：

 from selenium import webdriver
  path="D:\\chromedriver.exe" #替换成geckodriver实际所在目录
  driver=webdriver.Chrome(path)
  driver.get("http://www.yahoo.com")
  driver.close()
  driver.quit()

安装火狐浏览器插件Katalon Recorder

该组件用于录制用户在浏览器中的操作，并生成python等代码，省去了自己写代码的麻烦。类似按键精灵，可以参考莫烦的视频教程。

• 工具>附加组件>搜索 Katalon Recorder >安装
• 在需要录制的页面打开 Katalon Recorder ，点击录制，然后完成你想录制的操作，点击停止录制，导出代码。例如我在百度搜索框中输入“P2P”，然后点击搜索，录制得到的代码如下：

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import unittest, time, re

class UntitledTestCase(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.katalon.com/"
        self.verificationErrors = []
        self.accept_next_alert = True
    
    def test_untitled_test_case(self):
        driver = self.driver
        driver.get("https://www.baidu.com/")
        driver.find_element_by_id("kw").click()
        driver.find_element_by_id("kw").clear()
        driver.find_element_by_id("kw").send_keys("P2P")
        driver.find_element_by_id("su").click()
    
    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException as e: return False
        return True
    
    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException as e: return False
        return True
    
    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept(