selenium 采集数据(selenium采集所给网页(腾讯NBA的球员数据)的数据)

from selenium import webdriver
from selenium.webdriver.common.by import By
import time 
browser=webdriver.Edge("D://1//edgedriver_win64//msedgedriver.exe")
#(驱动路径不是必须给的,高版本是不需要给的)
browser.maximize_window()#最大化窗口
time.sleep(3) #延时
browser.get("https://nba.stats.qq.com/stats/")
#all=browser.find_element_by_xpath('/html/body/div[4]') 这是find_element老版本的用法,高版本已经不支持了
all=browser.find_element(By.XPATH, "/html/body/div[4]")
#shuju=all.find_elements_by_class_name("top-five")
shuju=all.find_elements(By.CLASS_NAME,"top-five")
#print(shuju)
for qi in shuju:
    #ul_all=qi.find_elements_by_css_selector("ul")
    ul_all=qi.find_elements(By.CSS_SELECTOR,"ul")
    print(ul_all)
    for ul in ul_all:
        #li_all=ul.find_elements_by_css_selector("li") 
        li_all=ul.find_elements(By.CSS_SELECTOR,"li") 
        print(li_all)
        for li in li_all:
            #name=li.find_element_by_class_name('name').text
            name=li.find_element(By.CLASS_NAME,'name').text
            team=li.find_element(By.CLASS_NAME,'score').text
            print(name)
            print(team)
browser.refresh()#刷新页面,如遇到所需按钮按不出来,则可以执行该功能
time.sleep(3) #延时
browser.find_element(By.XPATH, "/html/body/div[2]/a[2]/div").click()#copy full xpath 单击页面上的一个按键,进入下一页,
all_qiudui=browser.find_element(By.XPATH, "/html/body/div[3]/div[1]/ul")#采集胜率情况数据
all_qiudui_1=all_qiudui.find_elements(By.CSS_SELECTOR, "li")
#print(all_qiudui_1)
for qiudui in all_qiudui_1:
    sheng=qiudui.find_element(By.CLASS_NAME,'score').text
    print(sheng)

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值