新浪微博爬取全文内容

最新推荐文章于 2024-09-30 13:41:03 发布
最新推荐文章于 2024-09-30 13:41:03 发布
阅读量4.5k 收藏 19
点赞数 4
文章标签： 新浪微博 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haihaid/article/details/121180812
版权
该博客分享了作者如何编写一个简单的Python爬虫来抓取新浪微博的文章内容和发布时间。针对部分微博存在‘全文’按钮的情况，作者实现了一个判断函数，以决定是否需要进入二级页面抓取完整内容。源码提供以供参考，期待读者的指导和建议。
摘要由CSDN通过智能技术生成

  最近爬了一下新浪微博，去网上看了很多例子，github上也有几个优质的现成可用的，但是对于我来说还是有点庞大了，所以自己摸索了一下写了这个爬虫，主要爬取就两点，文章内容和发布时间，关于文章内容它一部分微博因为篇幅限制有个全文按钮，点击全文才可以看到全部，自己写了个判断，希望对大家有帮助。

这里以镇江发布为例

 

（顺便说一下，网页版的新浪微博有三个网站，分别是www.weibo.com  www.m.weibo.cn  www.weibo.cn)

这三个网站简单来说就是一个比一个简陋，我们只是为了爬取数据，当然是越简单越好，所以选择最后一个

可以看到我们要拿取的就是正文和时间

而这个正文它没有全文按钮，说明显示出来的就是全部了，我们右键检查可以发现在源码中可以找到，直接copyxpath

 

 对于有些文章多了个全文按钮

最低0.47元/天 解锁文章
haihaid
关注
python爬去新浪微博_荐爬虫实战 新浪微博爬取 详细分析
weixin_39533659的博客
11-23 868
目标#2020.5.22#author：pmy#目标：爬取最爱的绵羊的微博，包含时间，文本内容，点赞数，评论数与转发数#在更换博主时主要在于修改headers中的referer和参数中的containerid分析首先要简单讲一下Ajax。它是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。它具体体现在：在刷微博时，我们能明显能发现，当一个页面...
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，...
python抓取新浪微博数据
04-08
python作为人工智能或者大数据的宠儿，我自然要学习，作为一个小白，第一个实现的工能就是爬虫，爬数据，收集数据，我以我爬微博的事情为例子，附上代码，大家一起学习
爬取微博内容
萧鼎的博客
06-08 677
1.爬取微博内容 2.使用selenium 3.完整代码 from selenium import webdriver import time import csv def spider(url): driver = webdriver.Chrome() # 输入京东地址 driver.get(url) driver.maximize_window() # 窗口最大化 time.sleep(20) k = [] for i in range(3):
scrapy 爬取微博(五)【最新超详细解析】: 爬取微博文章
最新发布
roccreed的专栏
09-30 568
微博scrapy爬虫编写
微博内容爬取
weixin_30408165的博客
01-31 1140
在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库 1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 i...
微博信息爬取
ifreezn的博客
04-20 2207
利用python的requests库对微博数据的爬取，xpath语法匹配数据，lxml库方法etree解析html数据，openpyxl将数据保存为excel格式
微博博文内容爬取
ASS-ASH的博客
09-16 2003
不知你们发现了没有，微博偷偷推出了一个新版本的 网页版 界面相对原版微博来说简直是舒服了不知多少倍，全新炫目的微博界面、清晰有条理的分组阅读、个性化的应用管理……（微博打钱！） 那咱们今天就用这个来爬一爬你女神历史博文数据吧！ 一、网页分析 今天我选择的女神是迪丽热巴！阿巴阿巴 找到热巴的主页，依旧先打开开发者模式，然后刷新网页。 我们很容易的就能找到这个请求，我们可以看到，里面包含博文内容信息、点赞数、转发数、评论数、发文时间等等一些信息。 还能获得热巴的照片哦，这里就不再教你们了^_
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
08-24
在本资源中，我们主要探讨的是如何利用Python编程语言实现一个针对新浪微博的网络爬虫，目的是抓取微博数据，包括微博的文字内容、图片以及视频。爬虫是数据挖掘的重要工具，它能自动化地从互联网上收集信息，对于...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
爬取微博
沉觞的博客
06-16 596
爬取微博1. 首先将破解验证码的那些代码封装成一个模块2. 然后封装一个函数用于登陆3. 爬取微博 1. 首先将破解验证码的那些代码封装成一个模块 sliderCode .py from selenium import webdriver from time import sleep from PIL import Image from selenium.webdriver import ActionChains # 辅助函数1、截图 def shot_img(driver): sleep(2)
微博内容抓取工具
12-02
ROST 新浪定时监控工具，基于新浪微博Oauth模式认证下调用新浪微博api抓取新浪微博数据，支持实时（最少5秒钟抓取更新一次）抓取数据。数据包括微博作者、作者VIP判断、微博内容、发布时间、抓发评论数、如果是转发的微博还包括转发者及转发者说的话的详细信息 -- 转自武大沈阳博客
Python-爬取新浪微博信息
08-10
多进程异步爬取新浪微博下的各项微博，目前已完成对账号下视频的爬取，以后会对图片，音乐等爬取，并完善程序
爬取一个用户的所有微博
06-03
利用selenium+PlantomJS登录+爬取感兴趣的用户的所有信息 包括昵称,认证,粉丝,关注,所有微博以及每条微博的转发,评论数量等 理论上来讲再加一个链接爬虫可以爬取新浪微博的所有数据 但是由于用的是无壳浏览器导致登录和加载页面速度比较慢 所以实际上基本不可能能实现爬取 代码写完调通就没有管过了,也没有优化过,不过基本的功能都可以实现
python新浪微博爬虫，爬取微博和用户信息 (源码)
12-24
这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码，填写你自己的用户名和密码 5.运行程序，自动调用Firefox浏览
【保姆级爬虫】微博关键词搜索并获取博文和评论内容（python+selenium+chorme）
QianQing_mio的博客
03-08 8294
非常详细的微博内容以及评论的爬取，包括怎么展开文章，怎么对网页和评论翻页
爬取新浪微博
qq_45281832的博客
08-14 243
准大二学生，暑假无聊，随便翻翻书，崔庆才所著《python3网络爬虫实战》属实
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值