新浪微博爬取全文内容

最新推荐文章于 2024-07-26 10:45:15 发布
最新推荐文章于 2024-07-26 10:45:15 发布
阅读量4.4k 收藏 19
点赞数 4
文章标签： 新浪微博 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haihaid/article/details/121180812
版权

  最近爬了一下新浪微博，去网上看了很多例子，github上也有几个优质的现成可用的，但是对于我来说还是有点庞大了，所以自己摸索了一下写了这个爬虫，主要爬取就两点，文章内容和发布时间，关于文章内容它一部分微博因为篇幅限制有个全文按钮，点击全文才可以看到全部，自己写了个判断，希望对大家有帮助。

这里以镇江发布为例

 

（顺便说一下，网页版的新浪微博有三个网站，分别是www.weibo.com  www.m.weibo.cn  www.weibo.cn)

这三个网站简单来说就是一个比一个简陋，我们只是为了爬取数据，当然是越简单越好，所以选择最后一个

可以看到我们要拿取的就是正文和时间

而这个正文它没有全文按钮，说明显示出来的就是全部了，我们右键检查可以发现在源码中可以找到，直接copyxpath

 

 对于有些文章多了个全文按钮

最低0.47元/天 解锁文章
haihaid
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
python爬去新浪微博_荐爬虫实战 新浪微博爬取 详细分析
weixin_39533659的博客
11-23 823
目标#2020.5.22#author：pmy#目标：爬取最爱的绵羊的微博，包含时间，文本内容，点赞数，评论数与转发数#在更换博主时主要在于修改headers中的referer和参数中的containerid分析首先要简单讲一下Ajax。它是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。它具体体现在：在刷微博时，我们能明显能发现，当一个页面...
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。 爬取结果可写入文件和数据库，具体的写入文件类型如下： txt文件（默认） csv文件（默认） json文件（可选） MySQL数据库（可选） MongoDB数据库（可选） SQLite数据库（可选） 同时支持下载微博中的图片和视频，具体的可下载文件如下： 原创微博中的原始图片（可选） 转发微博中的原始图片（可选） 原创微博中的视频（可选） 转发微博中的视频（可选） 原创微博Live Photo中的视频（免cookie版特有） 转发微博Live Photo中的视频（免cookie版特有）
2024年Python爬虫入门教程28：爬取微博热搜榜并做动态数据展示，2024年最新面试官凶
2401_84140547的博客
05-10 860
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。f = open(‘热榜.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)‘标题’: title,‘热度’: hot,
python爬取新浪微博内容_Python爬虫爬取新浪微博内容示例【基于代理IP】
weixin_39618597的博客
11-20 524
本文实例讲述了Python爬虫爬取新浪微博内容。分享给大家供大家参考，具体如下：用Python编写爬虫，爬取微博大V的微博内容，本文以女神的微博为例（爬新浪m站：https://m.weibo.cn/u/1259110474）一般做爬虫爬取网站，首选的都是m站，其次是wap站，最后考虑PC站。当然，这不是绝对的，有的时候PC站的信息最全，而你又恰好需要全部的信息，那么PC站是你的首选。一般m站都以...
python怎么爬取新浪微博数据_新浪微博爬虫，用python爬取新浪微博数据
weixin_39747293的博客
12-03 3279
Weibo Spider本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置...
python爬取新浪微博内容_python机器登陆新浪微博抓取数据
weixin_39776787的博客
11-23 251
1.[代码][Python]代码# import 这边需要注意的是只有一个rsa这个模块是需要install的，其他的都是内置import re , urllib.parse , urllib.request , http.cookiejar , base64 , binascii , rsa# 以下4行代码说简单点就是让你接下来的所有get和post请求都带上已经获取的cookie，因为稍大些的...
如何爬取微博全部粉丝python_python 登录新浪微博爬取粉丝信息
weixin_39621427的博客
12-05 864
最近有个小需求，爬取新浪微博的粉丝信息，弄了好几天，终于搞定，送上代码：环境：系统：windows 7版本：python 3.3IDE: PyCharm 4.0.4参考：https://blog.csdn.net/crystal_zero/article/details/51154632#!/usr/bin/env python3# -*- coding: utf-8 -*-import time...
新浪微博爬取笔记（4）：数据清理
auqgw4556的博客
04-25 440
数据清理的部分很多，其实爬数据的过程中步骤的间隔也要做数据清理，都是很琐碎繁杂的工作。总结经验的话，就是： 1、一定要用数据库存储数据 （我因为还不太会数据库，为了“节省学习时间”，所有数据项都用txt存储，直到最后出现了多个种类之间查找，文件夹树变得比较复杂，才觉得当初即使使用MySQL也会提高效率） 2、处理异常的语句不嫌多 3、处理数据的脚本最好打包成函数，尽量减少运行...
爬虫实践---新浪微博爬取+json+csv
锅巴
09-24 2567
在此之前，我一直以为新浪微博的爬取，需要模拟登录等等 偶然之间，在小歪哥那里得知，有一个网站可以免登录爬取：https://m.weibo.cn/u/+oid，这个oid可以从普通新浪微博那里得到。 点击一个关注用户首页，查看其网页源码，源码页搜索用户名，就会看到如下的内容： var $CONFIG = {}; $CONFIG['islogin']='1';  $CONFIG['oi
python爬取微博内容_Python 爬虫如何机器登录新浪微博并抓取内容？
weixin_39810441的博客
11-21 348
最近为了做事件分析写了一些微博的爬虫，两个大V总共爬了超70W的微博数据。官方提供的api有爬取数量上限2000，想爬取的数据大了就不够用了...果断撸起袖子自己动手！先简单说一下我的思路：一、目标选择在确定爬取对象时，在移动端展示的数据可以满足的情况下，优先选择移动端。难度要低很多。二、分析目标网站在开始构造爬虫前，需要先了解目标网站的结构和数据传输方式。拿本次爬取对象举例：在开发者模式下可以找...
weibo_spider_node:一个简单的爬虫程序，从新浪微博爬取数据
06-12
【标题】"weibo_spider_node:一个简单的爬虫程序，从新浪微博爬取数据" 【描述】中的"sina_data"表明这个项目主要关注的是获取新浪（Sina）平台上的数据，特别是来自其微博服务的数据。这个爬虫程序是用JavaScript...
python实现爬取新浪微博
09-15
本教程将探讨如何使用Python实现爬取新浪微博的信息。由于微博的移动端数据接口相对开放，且相较于PC端更容易进行爬取，因此我们将主要关注移动端的爬虫策略。 首先，我们需要了解微博的网页结构和数据获取方式。...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
python爬去新浪微博_Python爬虫爬取新浪微博内容示例【基于代理IP】
weixin_39646628的博客
11-23 464
Python爬虫爬取新浪微博内容示例【基于代理IP】发布时间：2020-09-07 10:08:14来源：脚本之家阅读：120本文实例讲述了Python爬虫爬取新浪微博内容。分享给大家供大家参考，具体如下：用Python编写爬虫，爬取微博大V的微博内容，本文以女神的微博为例（爬新浪m站：https://m.weibo.cn/u/1259110474）一般做爬虫爬取网站，首选的都是m站，其次是wap...
javaweb学习day1《HTML篇》--新浪微博（前端页面的创建思路及其HTML、css代码详解）
2302_80329073的博客
07-06 877
​ 本篇章为javaweb的开端，也是第一篇综合案例，小编也是看着黑马程序员的视频对里面的知识点进行理解，然后自己找一个新浪微博网页看着做的，主要还是因为懒，不想去领黑马程序员的资料了。 小编任务javaweb和java有诸多共同之处，所以这两个一同进行更新，周期为15天。java可能会快一点，不过还是会同步更新的。小编尽量每天都将自己所学浓缩成综合案例的形式和大家见面的。大家可以试着自己找新浪新闻进行练习。 不知道大家能否找到，小编将网址放在下面了，以防万一。 ​
Python爬虫技术 第11节 发送GET和POST请求
hummhumm的专栏
07-24 695
try:e } ") return None # 使用示例 word = 'example' definition = get_word_definition(word) if definition : print(f"The definition of ' {")
计算机毕业设计Django+Vue.js知识图谱音乐推荐系统 音乐爬虫可视化 音乐数据分析 大数据毕设 大数据毕业设计 机器学习 深度学习 人工智能
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
07-23 460
计算机毕业设计Django+Vue.js知识图谱音乐推荐系统 音乐爬虫可视化 音乐数据分析 大数据毕设 大数据毕业设计 机器学习 深度学习 人工智能
Python3网络爬虫开发实战（4）数据的存储
最新发布
bigcrab的博客
07-26 1040
TXT，Json，csv，SQLAlchemy，MongoDB，Redis，Elasticsearch，RabbitMQ
python爬取新浪微博
09-27
可以使用Python的requests和BeautifulSoup库来爬取新浪微博。首先，你需要安装这两个库。使用以下命令来安装它们： ``` pip install requests pip install beautifulsoup4 ``` 然后，你可以按照以下步骤进行新浪微博的爬取： 1. 导入所需的库： ```python import requests from bs4 import BeautifulSoup ``` 2. 发送HTTP请求并获取页面内容： ```python url = 'https://weibo.com/' response = requests.get(url) content = response.text ``` 3. 使用BeautifulSoup解析页面内容： ```python soup = BeautifulSoup(content, 'html.parser') ``` 4. 查找需要的信息并提取： ```python # 例如，获取微博内容 weibo_content = soup.find('div', class_='WB_text').text print(weibo_content) ``` 这只是一个简单的示例，你可以根据需要进一步操作和解析页面信息。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值