用python爬取微博热搜_requests模块爬取微博热搜榜

import requests

from lxml import etree

import datetime

if __name__=='__main__':

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \

Chrome/84.0.4147.125 Safari/537.36 Edg/84.0.522.59'

}

url='https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'

page_text=requests.get(url=url,headers=headers).text

tree=etree.HTML(page_text)

list=tree.xpath('//div[@class="data"]//tbody/tr')

fp = open('微博热搜.txt', 'w')

now_time = datetime.datetime.now().strftime('%F %A %H:%M:%S') + '\n' # 获取当前时间

fp.write(now_time) # 在开头写入热搜时间

# 微博热搜页面的源代码还包括一个置顶热搜，它的标签包含结构和其他的50个不同，因此需要单独考虑(空列表)

''&#