用selenium爬取头条大V的粉丝数

用selenium爬取头条大V的粉丝数

from selenium import webdriver
import pandas as pd
import time

#打开chrome浏览器
browser = webdriver.Chrome()

#读取存有需要爬取链接的文件
df=pd.read_excel('0218头条号人气榜.xlsx')

#如果程序中途断开，要从中间继续，就在这里填入开始的那一行前面的序号
base=0

#循环读取链接，链接那一列的列名叫什么，这里就填入什么，这里是'全部链接'
for n,i in enumerate(df['全部链接'][base:]):
    #赋值网址链接
    url=i
    #浏览器打开该链接
    browser.get(url)

    #这里Xpath不同网址不同，如果换了网址，这里也要换
    #在表格最后一列填入爬取到的粉丝数
    df.iloc[n+base,-1]=browser.find_element_by_xpath('/html/body/div[1]/div/div[2]/div[3]/div[1]/dl/dd/a/h3').text

    #时间休眠5秒，否则容易出现验证码弹窗
    time.sleep(5)

    #保存表格
    df.to_excel('0218头条号人气榜.xlsx')


print('全部结束')