微博热搜榜爬虫2.0

微博热搜榜爬虫2.0

6月份出了一个微博热搜爬虫，在我电脑上设置了自动化12点爬取，结果到了9月份，执行不了。
一直没时间弄，今天来更新一下：
解决了两个问题，
1 >之前的话请求头比较单一，只有headers，目前直接访问，会被反爬。（js）
2 > 之前的re.findall 取不到值了，研究了一下网页也没什么变化啊。加了这个<a href="(.*?)"
“点星问”
P.s=需要用的小伙伴Cookies 就用你自己的吧。
小作业，直接Copy没意思。

# -*- Coding utf-8 -*-
# @time : 2021/11/19 13:47
# @Author : Peter
# @File ：weibo_crawlerV2.py
# @Software : PyCharm
import requests
from bs4 import BeautifulSoup as BS
import re
import csv
import time

headers = {
   'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/25'