Selenium获取虎牙直播英雄联盟分区相关信息

项目场景:

使用selenium获取虎牙直播的标题和人气值,代码如下:

from selenium import webdriver

driver = webdriver.Chrome()
url = "https://www.huya.com/g/lol"
driver.get(url)
num = 1
while True:
    print('第{}页------------------------'.format(str(num)))
    num += 1
    # time.sleep(3)
    html = driver.page_source
    names = driver.find_elements_by_xpath('//a[@class="title"]')
    counts = driver.find_elements_by_xpath('//i[@class="js-num"]')
    for name,count in zip(names,counts):
        print(name.text,":",count.text)
        break
    driver.find_element_by_xpath('//a[@class="laypage_next"]').click()

ps:这里为求直观,只显示了每页第一个主播的标题和人气值,大家如果想要打印全部信息,把break删掉即可

运行结果:

运行部分结果如下:

1------------------------
【萝莉酱】认真上分! : 72.0万
第2------------------------
黑色玫瑰你的声优慕呀来一起玩呀 : 8.5万
第3------------------------
大乱斗新主播~黑色一起玩 : 5.4万
第4------------------------
国服最强千珏:血瓶帮打 : 4.5万
第5------------------------
新人主播,有车位,新粉丝订阅上车带飞! : 4.1万
第6------------------------
重庆声甜妹妹~艾欧尼亚有车位~ : 3.8

希望能帮到大家

注意事项:

如果在运行代码时报错了,可能是网速过快导致网页还没加载出来就进行了下一步的判断

解决方法就是加入time.sleep(),让浏览器等几秒

ps:这行代码一定要放在 html = driver.page_source 之前,如果放在html = driver.page_source 后面,已经拿到了代码,sleep就没有意义了。

希望这篇文章能帮到大家

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值