利用python爬取微博热搜并进行数据分析

最新推荐文章于 2024-06-22 15:31:03 发布

zcharlotteyq

最新推荐文章于 2024-06-22 15:31:03 发布

阅读量2.1k

点赞数 1

分类专栏：网络爬虫文章标签： python 数据分析爬虫

本文链接：https://blog.csdn.net/m0_49119161/article/details/108817363

版权

本文介绍了如何使用Python进行网络爬虫，抓取微博的热搜数据，并结合pyecharts工具进行了深入的数据分析，揭示了微博热搜背后的趋势和用户偏好。

摘要由CSDN通过智能技术生成

爬取微博热搜

import schedule
import pandas as pd
from datetime import datetime
import requests
from bs4 import BeautifulSoup


url = "https://s.weibo.com/top/summary?cate=realtimehot&sudaref=s.weibo.com&display=0&retcode=6102"
get_info_dict = {
   }
count = 0

def main():
    global url, get_info_dict, count
    get_info_list = []
    print("正在爬取数据~~~")
    html = requests.get(url).text
    soup = BeautifulSoup(html, 'lxml')
    for tr in soup.find_all(name='tr', class_=''):
        get_info = get_info_dict.copy()
        get_info['title'] = tr.find(class_='td-02').find(name='a').text
        try:
            get_info['num'] = eval