Web爬虫————微博热点爬取

最新推荐文章于 2024-08-03 15:58:00 发布

呵呵咋了

最新推荐文章于 2024-08-03 15:58:00 发布

阅读量474

点赞数 1

分类专栏：练习文章标签： nosql 爬虫

本文链接：https://blog.csdn.net/qq_3302860184/article/details/104614869

版权

本文介绍了如何使用Web爬虫技术抓取微博上的热点信息，详细讲述了爬虫的实现过程，包括数据抓取、存储和分析。同时，文章讨论了使用NoSQL数据库进行数据存储的优势及其在爬虫项目中的应用。

摘要由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
from urllib.parse import urlencode
import time
import pymongo

base_url = 'https://weibo.com/a/aj/transform/loadingmoreunlogin?'
''' https://weibo.com/a/aj/transform/loadingmoreunlogin?
ajwvr=6&category=0&page=2&lefnav=0&cursor=&__rnd=1583127847996
ajwvr=6&category=0&page=3&lefnav=0&cursor=&__rnd=1583128195155
ajwvr=6&category=0&page=4&lefnav=0&cursor=&__rnd=1583128249888
ajwvr=6&category=0&page=5&lefnav=0&cursor=&__rnd=1583128278698
ajwvr=6&category=0&page=6&lefnav=0&cursor=&__rnd=1583128283196
'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36',
    'Refe