python抓取直播源 并更新_Python爬虫实例（二）使用selenium抓取斗鱼直播平台数据...

程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。

过程分析：

进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。

首先检查下一页元素，如下：

下一页

使用selenium和PhantomJS模拟点击，代码如下：

from selenium importwebdriver#使用PhantomJS浏览器创建浏览器对象

driver =webdriver.PhantomJS()#使用get方法加载页面

driver.get("https://www.douyu.com/directory/all")#class="shark-pager-next"是下一页按钮，click() 是模拟点击

driver.find_element_by_class_name("shark-pager-next").click()#打印页面页面查看

print driver.page_source

这样就可以通过设置一个循环条件，一直点击下去，直到页面加载完。循环终止的条件为最后一页，进入最后一页，检查下一页元素：

下一页

对比发现：当出现"shark-pager-disable-next"，下一页无法点击，这就是循环停止的条件。

#如果在页面源码里没有找到"shark-pager-disable-next"，其返回值为-1，可依次作为