新浪微博爬虫（Scrapy、Redis）环境搭建

最新推荐文章于 2024-08-12 16:22:34 发布
最新推荐文章于 2024-08-12 16:22:34 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： 数据挖掘 文章标签： mongodb python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a931040/article/details/51463607
版权
本文介绍了如何搭建一个基于Scrapy和Redis的新浪微博爬虫环境。主要内容包括MongoDB的安装和启动，Python环境配置，特别是安装Scrapy及其依赖模块如pymongo、json、base64和requests。同时，需要将微博账号信息存入cookies.py文件，并调整Scrapy的设置。在Python模块安装过程中，可能会遇到版本不对应的问题，需要手动下载并安装相应版本的模块。
摘要由CSDN通过智能技术生成

Git源码地址

需要以下环境配置：
1、MongoDB安装好 能启动即可，不需要配置。
2、Python需要安装好scrapy（64位的Python尽量使用64位的依赖模块）
另外用到的python模块还有：pymongo、json、base64、requests。
3、将你用来登录的微博账号和密码加入到 cookies.py 文件中，里面已经有两个账号作为格式参考了。
4、另外一些scrapy的设置（如间隔时间、日志级别、Request线程数等）可自行在setting里面调。

MongoDB的环境配置

见我的前一篇文章MongoDB环境配置

python需要的其他模块

pip下载安装的包，导致版本不对应，出现错误，需要手动下载scrapy，以及它需要依赖的包，记得选择对应的python版本。
参考文章
pywin32
zope.interface

最低0.47元/天 解锁文章
a931040
关注
专栏目录
Python爬虫教程-新浪微博分布式爬虫分享
Python新手学习之家
02-09 783
爬虫功能： 此项目实现将单机的新浪微博爬虫重构成分布式爬虫。 Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。 环境、架构： 开发语言：Python2.7 开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。 数据库：MongoDB 3.2.0、Redis 3.0.501 ...
Python-新浪微博爬虫ScrapyRedis
08-10
此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注（详细见此）。
基于scrapy的分布式爬虫抓取新浪微博个人信息和微博内容存入MySQL
热门推荐
Zengsl233的博客
08-23 1万+
为了学习机器学习深度学习和文本挖掘方面的知识，需要获取一定的数据，新浪微博的大量数据可以作为此次研究历程的对象 一、环境准备   python 2.7  scrapy框架的部署（可以查看上一篇博客的简要操作，传送门：点击打开链接） mysql的部署（需要的资源百度网盘链接：点击打开链接） heidiSQL数据库可视化   本人的系统环境是 win 64位的 所以以上环境都是需要兼容...
一文读懂分布式爬虫利器Scrapy-Redis：源码解析、队列管理与去重策略
最新发布
m0_74087660的博客
08-12 1690
本文深入解析了Scrapy-Redis的分布式爬虫原理，涵盖获取源码、爬取队列管理、去重过滤机制及调度器工作流程。通过这些关键要素的讲解，帮助读者全面掌握Scrapy-Redis的核心功能和应用场景。
scrapy-redis使用以及剖析
weixin_30448603的博客
03-31 104
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去重 1 2 3 4 5 ...
用scrapy-redis爬去新浪-以及把数据存储到mysql\mongo
weixin_33796177的博客
07-17 380
2019独角兽企业重金招聘Python工程师标准>>> ...
scrapy分布式爬取微博用户信息
wojiucaonen的博客
06-27 551
基于之前文章 https://blog.csdn.net/wojiucaonen/article/details/93516084 scrapy爬取新浪微博 这里只需对scrapy的settings修改一下即可 将调度器的类和去重的类替换为Scrapy_redis的类： settings.py DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDup...
2024年Python最新Python爬虫教程-新浪微博分布式爬虫分享(2)
2401_84584682的博客
05-01 385
开发语言：Python2.7开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。数据库：MongoDB 3.2.0、Redis 3.0.501（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
Python3网络爬虫基础+实战案例 Scrapy、Flask、PySpider、Tushare
02-11
环境配置 Python3+Pip环境配置 ...Scrapy+Cookies池抓取新浪微博 Scrapy+Tushare爬取微博股票数据 分布式篇 Scrapy分布式原理及Scrapy-Redis源码解析 Scrapy分布式架构搭建抓取知乎 Scrapy分布式的部署详解
scrapy-redis
weixin_43580523的博客
05-24 3248
1. 简介 scrapy流程 scrapy-redis scrapy是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取。 组件 Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Downloader（下载器）：负责下载Scra
scrapy-redis(分布式爬虫)
lemonguess的博客
08-02 1018
一、概念 概念：多台机器对一个项目进行分部联合爬取。 作用：增加工作单位，提升爬取效率。 前提：每一台工作机器都需要scrapy的运行环境。
python爬虫cookie池搭建_Python爬虫【四】Scrapy+Cookies池抓取新浪微博
weixin_39624873的博客
12-07 366
1.设置ROBOTSTXT_OBEY，由true变为false2.设置DEFAULT_REQUEST_HEADERS，将其改为request headers3.根据请求链接，发出第一个请求，设置一个start_request方法，并在方法中定义相关的配置,比如在本例中设置搜索的关键字keyword4.接下来定义一个链接，也就是start_url，本例中改为search_url,其中把base_ur...
Python爬虫-Scrapy-Redis分布式
shifengboy的博客
10-09 1227
Scrapy-Redis 分布式 1 分布式概述 1.0 scrapy-redis是什么 之前我们已经学习了Scrapy，它是一个通用的爬虫框架，能够耗费很少的时间就能够写出爬虫代码 Scrapy-redis是scrapy的一个组件，它使用了Redis数据库做为基础，目的为了更方便地让Scrapy实现分布式爬取 Scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了Sc...
scrapy-redis 介绍
longshuo1995的博客
08-20 540
1.介绍 scrapy是一个爬虫框架，但是不支持分布式。scrapy-redis在scrapy的基础上，更方便地实现了分布式。 scrapy-redis提供了下面四种组件（component）：（四种组件意味着scrapy的四个模块都要修改） Scheduler Duplication Filter Item Pipeline Base Spider Schedular: 改造了
新浪微博爬虫scrapy框架编写爬虫代码
06-07
好的，以下是一个简单的新浪微博爬虫的Scrapy框架爬虫代码： ```python import scrapy class WeiboSpider(scrapy.Spider): name = 'weibo' allowed_domains = ['weibo.cn'] start_urls = ['https://weibo.cn/'] def start_requests(self): url = 'https://weibo.cn/' yield scrapy.Request(url=url, callback=self.login) def login(self, response): url = 'https://passport.weibo.cn/sso/login' data = { 'username': 'your_username', 'password': 'your_password', 'savestate': '1', 'r': 'https://weibo.cn/', 'ec': '0', 'entry': 'mweibo', 'mainpageflag': '1' } yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse) def parse(self, response): # 可以在这里进行数据的解析和处理 pass ``` 在这个爬虫代码中，我们首先定义了一个WeiboSpider类，继承自Scrapy的Spider类。在类中，我们定义了爬虫的名称、爬取的域名和起始URL。我们重写了start_requests方法，发送登录请求，登录成功后调用parse方法进行解析。在login方法中，我们定义了登录请求的URL和POST请求需要的数据，通过FormRequest发送POST请求进行登录。在parse方法中，我们可以进行数据的解析和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值