python 使用 selenium 爬取中国福利彩票双色球历史中奖号码
前期准备
版本:python3
模块:selenium、time、pprint
一开始使用的是 tree 的方式获取数据,但发现数据获取为空,中奖号码为动态生成数据,无法直接获取,使用采用selenium的方式获取数据。
from selenium import webdriver
import time
import pprint
browser = webdriver.Chrome()
browser.get('http://www.cwl.gov.cn/kjxx/ssq/kjgg/')
clicks = browser.find_element_by_xpath('/html/body/div[1]/div/div[2]/div[2]/dl/dd/ul/li[3]')
time.sleep(1)
clicks.click()
time.sleep(1)
arr = []
for i in range(90):
text = browser.find_element_by_xpath('/html/body/div[1]/div/div[3]/table/tbody/tr[{}]'.format(i+1))
arr.append(text.text.split(' '))
toArr = []
for list in arr:
obj = {
'red': list[2],
'blue': list[3]
}
toArr.append(obj)
pprint.pprint(toArr)
代码很简单,没有多少行,主要目的是搞清楚 selenium 的使用方法。下面是效果图:
可以把数据写入到 excel 表格,方法很简单,这里就不描述了