selenium chromedriver与bs4配合使用爬取斗鱼信息

#!/usr/bin/env python

-- coding:utf-8 --

python的测试模块

import unittest
from selenium import webdriver
from bs4 import BeautifulSoup

class douyuSelenium(unittest.TestCase):
# 初始化方法
def setUp(self):

    self.driver = webdriver.Chrome()

#具体的测试用例方法，一定要以test开头
def testDouyu(self):
    self.driver.get('http://www.douyu.com/directory/all')
    while True:
        # 指定xml解析
        soup = BeautifulSoup(self.driver.page_source, 'xml')
        # 返回当前页面所有房间标题列表 和 观众人数列表
        titles = soup.find_all('span', {'class': 'dy-name ellipsis fl'})
        nums = soup.find_all('span', {'class': 'dy-num fr'})

        # 使用zip()函数来可以把列表合并，并创建一个元组对的列表[(1,2), (3,4)]
        for title, num in zip(titles, nums):
            print u"观众人数:" + num.get_text().strip(), u"\t