【小盐巴学习笔记】—用Python爬取微博热搜

最新推荐文章于 2024-05-27 16:30:19 发布
最新推荐文章于 2024-05-27 16:30:19 发布
阅读量461 收藏 5
点赞数 1
分类专栏： 爬虫实战练习 文章标签： 爬虫 python 微博
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45459248/article/details/110044024
版权

【小盐巴学习笔记】—用Python爬取微博热搜

前言

今天爬取的方式还是正则，但写法略有不同，代码量更少

一、爬虫分析

首先看看今天要爬取微博热搜网址，如此短小精悍

https://s.weibo.com/top/summary

1.分析数据

进入后鼠标右键查看源码，看能不能直接看到数据

在这里插入图片描述

呀可以直接看到，省事，直接正则一套带走

二、完整代码

impor
最低0.47元/天 解锁文章
热爱学习的小盐巴
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Python-爬取新浪微博信息
08-10
多进程异步爬取新浪微博下的各项微博，目前已完成对账号下视频的爬取，以后会对图片，音乐等爬取，并完善程序
Python爬虫实战之爬取微博热搜
Everly_的博客
04-01 2365
总之，使用Python爬取微博热搜榜单是一种获取有价值信息的方法。在实际应用中，我们需要根据具体情况选择合适的爬虫方法，并遵守相关法律法规和网站的使用规定。希望本文对你理解和使用Python爬取微博热搜榜单有所帮助。
Python爬虫实战(实战篇)—16获取【百度热搜】数据—写入Ecel（附完整代码）
最新发布
weixin_42636075的博客
05-27 1816
Python爬虫实战(实战篇)—16获取【百度热搜】数据—写入Ecel（附完整代码）
python爬取微博数据
柳小葱的博客
06-01 1264
爬取一个用户发过的所有微博 import urllib.request import json import csv # 定义要爬取的微博大V的微博ID id = '6882301420' # 设置代理IP proxy_addr = "113.124.95.210:9999" # 定义页面打开函数 def use_proxy(url, proxy_addr): req = urllib.request.Request(url) req.add_header("User-Agent",
python爬取微博网页数据
01-21
提供代码框架，读者们稍作修改就可以用了，本文爬取的是某舆情热门事件的发文ID、点赞数、转发数、评论量
盐巴和胡椒_精美学习课件ppt
11-23
根据提供的信息来看，“盐巴和胡椒_精美学习课件ppt”这个标题及描述并没有给出具体的学习内容或知识点，这使得直接从标题和描述中提取专业知识变得比较困难。不过，我们可以从“精美学习课件ppt”这一部分推断出这...
3虎门销烟——小学生学习课件
11-23
根据给定的小学生学习课件内容，我们可以提炼出以下几个关键知识点： ### 1. 虎门销烟的历史背景及意义 #### 历史背景 - **鸦片战争前夜**：19世纪初，英国为了扭转与中国贸易逆差的局面，大量向中国走私鸦片。 - ...
苏教小学语文三年级下册虎门销烟公开课PPT学习教案.pptx
10-01
这篇PPT学习教案主要围绕的是中国历史上的一个重要事件——虎门销烟，它是中国人民反抗外国侵略、打击毒品贸易的标志性事件。此教学材料适用于苏教版小学语文三年级下册的教学，通过公开课的形式，帮助学生理解和...
《盐巴和胡椒》绘本故事PPT模板
03-20
《盐巴和胡椒》绘本故事PPT 盐巴和胡椒是两匹老马。一天，茉莉和米莉问农夫海格特：你为什么叫它们盐巴和胡椒呢？他说：因为他们的颜色啊，而且它们又老是在一起。茉莉和米莉问：我们可以骑一骑吗？海格特说：当然...
小学生21个科学小实验.doc
10-11
小学生21个科学小实验 本资源总共包含21个小学生的科学小实验，每个实验都有其独特的主题和科学原理。下面是对每个实验的详细解释： 一、筷子的神力 本实验展示了杯米粒之间的挤压力和空气压力之间的关系。当我们...
python抓取新浪微博数据
04-08
python作为人工智能或者大数据的宠儿，我自然要学习，作为一个小白，第一个实现的工能就是爬虫，爬数据，收集数据，我以我爬微博的事情为例子，附上代码，大家一起学习
python新浪微博爬虫，爬取微博和用户信息 (源码)
06-18
这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码
Python实现微博爬虫
05-10
使用Python实现微博爬虫 1. 需要爬取的页面URL存取在WeiboSpider/DataBase/UrlRecord.db, 该文件为sqlite数据库文件, URL数据会在爬取的过程中持续添加 2. 爬取的微博数据存放在WeiboSpider/WeiboData目录下, 每个用户单独一个数据文件 3. WeiboSpider/Config.txt文件记录了当前已经爬取的页面的ID, 设置为1则重新爬取 4. 运行WeiboSpider/Main.py即可运行爬虫 5. WeiboSpider/Main.py中的COOKIE你需要设置为你自己的COOKIE 6. 运行一段时间后可能你的IP会被封
爬取用户微博数据热搜.rar
06-14
爬取用户微博数据热搜，内含系统部署说明操作文档，系统演示PPT。
python 获取窗口句柄_Python爬虫进阶（五）：Selenium爬取微博
weixin_39966644的博客
11-22 407
爬取对象我们的爬取目标是(登陆状况下的)新浪微博的首页。也就是下图：爬取目标首先，我们要模拟登陆。其次，我们要下拉滚动条两次，让微博加载新的动态。第三，作为良好公民我会给我关注的所有博主点赞，所以我们给所有微博点一次赞。第四，我们把获取到的所有博文保存到文件里。第五，我们发一条微博，内容为“Hello World!”。那么，我们的上述行为用到了：准备工作-分析页面1 模拟登陆微博的登录按钮对应的h...
Python 超简单爬取新浪微博数据
four91的博客
05-18 5829
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！ 我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。 1. 下载项目 进入下方的网址，点击Download ZIP下载项目文件 github.com/dataabc/wei… 或者 你有git的话可以在cmd/te...
python爬取微博文本
cyincy的博客
04-21 1001
#! usr/bin/python # -*- coding=utf-8 -*- from urllib.parse import urlencode import requests from pyquery import PyQuery as pq import pandas as pd base_url='https://m.weibo.cn/api/container/getIndex?' ...
python不间断爬取微博热搜并存储
weixin_43131848的博客
03-22 1465
Q：想要记录实时的微博热搜分析某一类事件的热度怎么办？ A： 采用python爬虫24小时不间断爬取微博热搜并存储到本地。 代码如下： # -*- coding: utf-8 -*- """ Created on Thu Mar 18 14:48:24 2021 @author: Administrator """ #文件目的是每隔一段时间爬微博热搜并存储在本地 import requests from bs4 import BeautifulSoup import time import pandas
torch.Size([256, 1, 28, 28])
07-28
- *1* *3* [卷积神经网络(LeNet)——【torch学习笔记】](https://blog.csdn.net/weixin_43180762/article/details/124414587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值