selenium基本使用之获取12306车票信息

Selenium简介

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
Selenium属于自动化测试这块的知识，但是当Selenium遇到了爬虫可以说是“秀才遇到兵，有理说不清”。本次之讲Selenium的基本使用。如果想详细的了解，请阅读相关的书籍。

过程及分析

准备工作----获取12306上的城市代号

由于12306上输入城市的名称后还要选中输入的城市名，由此可以看出12306上的城市用的是其自己规定的代号，从源码中可以看出

import requests
import re
import csv
url='https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9141'
txt=requests.get(url).text
station=re.findall('([\u4e00-\u9fa5]+)\|([A-Z]+)',txt)
# print(station)

with open('sc.csv','w',encoding='utf-8') as f:
    f_csv=csv.writer(f)
    f_csv.writerow(['name','code'])
    for sc in station:
        f_csv.writerow([sc[0],sc[1]])
    f.close()
    print('over')

导入程序所需要的第三方库，定义一些变量，如代码所示，目标url（就是跳转后的url，我们需要显示等待这些页面加载出来），还有城市代号字典，用来存储城市和其对应的代号。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.by import By
import csv

'''
如果将driver放在里面，那么driver将会随着对象的销毁而销毁。而我们的trainSpider放在main函数中执行
'''
driver=webdriver.Chrome()
class TrainSpider(object):
    login_url='https://kyfw.12306.cn/otn/resources/login.html'
    person_url='https://kyfw.12306.cn/otn/view/index.html'
    left_ticket_url='https://kyfw.12306.cn/otn/leftTicket/init?linktypeid=dc'
    present_url='https://kyfw.12306.cn/otn/confirmPassenger/initDc'
    def __init__(self,from_station,to_station,train_data):
        """
        :param from_station: 起始站
        :param to_station: 终点站
        :param train_tata: 出发日期
        """
        self.from_station=from_station
        self.to_station=to_station
        self.train_tata=train_data
       

        #初始化站点所对应的站号
        self.station_codes={}
        self.init_station_codes()


代号搜索部分，从csv文件中找出指定城市的代号，并将其放在字典中，方便后面解析车次的时候用。

    def init_station_codes(self):
        with open('sc.csv', 'r', encoding='utf-8') as fp:
            reader = csv.DictReader(fp)
            for line in reader:
                name = line['name']
                code = line['code']
                self.station_codes[name] = code

登录函数

程序是半自动化的，我是通过手机扫码完成登录。

  def login(self):
      driver.get(self.login_url)
      #显示等待
      WebDriverWait(driver,1000).until(
          EC.url_to_be(self.person_url)
      )
      print("登录成功")

车次解析

这部分代码主要使用了selenium中的元素定位方法，还有向源码中传递参数（将城市代号放入源码中）

    def search_left_ticket(self):
        driver.get(self.left_ticket_url)
        #起始站代号
        from_station_input=driver.find_element_by_id('fromStation')
        from_station_code=self.station_codes[self.from_station]
        driver.execute_script("arguments[0].value='%s'"%from_station_code,from_station_input)
        #终点站代号
        to_station_input=driver.find_element_by_id('toStation')
        to_station_code=self.station_codes[self.to_station]
        driver.execute_script("arguments[0].value='%s'"%to_station_code,to_station_input)
        #时间设置
        train_date_input=driver.find_element_by_id('train_date')
        driver.execute_script("arguments[0].value='%s'"%self.train_tata,train_date_input)

        #执行查询操作
        search_btn=driver.find_element_by_id("query_ticket")
        search_btn.click()

        #解析车次信息
        WebDriverWait(driver,1000).until(
            EC.presence_of_all_elements_located((By.XPATH,"//tbody[@id='queryLeftTable']/tr"))
        )
        tran_trs=driver.find_elements_by_xpath("//tbody[@id='queryLeftTable']/tr[not(@datatran)]")
        for tran_tr in tran_trs:
            infos=tran_tr.text.replace('\n',' ').split(' ')
            print(infos)
   

在类中定义一个run函数，控制类中函数运行的顺序，这样用户就不需要为顺序担心了，只需要直接调用类就可以了。

    def run(self):
        #1.登录
        self.login()
        #2.车次余票查询
        self.search_left_ticket()

主函数

def main():
    spider=TrainSpider("信阳","安阳","2020-02-20")

    spider.run()

if __name__ == '__main__':
    main()

获取更多学习资源项目案例等请关注微信公众号 py呈心
每日都有更新！！！