Scrapy爬虫框架搭建及pycharm中scrapy插件配置

最新推荐文章于 2024-04-03 14:20:17 发布
最新推荐文章于 2024-04-03 14:20:17 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： Notes 文章标签： Scrapy Pycharm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Captain72/article/details/97925663
版权
本文介绍了Scrapy爬虫框架，它是一个用于数据抓取和处理的Python应用框架。详细讲述了如何在命令行安装Scrapy及其依赖，如Twisted和lxml，并在Pycharm中设置Scrapy环境，包括解决Pycharm安装Scrapy插件失败的问题。
摘要由CSDN通过智能技术生成

Scrapy爬虫框架搭建

Scrapy爬虫框架简介

Scrapy 是python实现爬取网站数据，提取结构性数据而编写的应用框架，可用于广泛的应用程序，如数据挖掘、信息处理或历史存档。 它使用 Twisted 包（基于事件驱动的网络引擎包）高效地处理网络通信，使用 lxml 、 cssselect 高效提取 HTML 页面， 同时也提供了有效的线程管理。

Scrapy安装

可以在命令行使用pip进行安装：

pip3 install scrapy

直接使用pip安装时，可能会安装失败，因为Scrapy需要大量的第三方依赖包。比如：Twisted, lxml, pyOpenSSL, pywin32等。

首先，我们安装wheel，因为后续安装文件都是whl。

pip3 install wheel

接下来，下载依赖包。去依赖库 下载。

  1. Twisted 依赖包： （cp37 表示 python 版本 3.7 版本， win32/64 根据自己 windows 系统选择）
    Twisted‑19.2.1‑cp37‑cp37m‑win_amd64.whl

下载完成后，在命令行进入下载路径，再使用pip进行安装：

pip3 install Twisted‑

最低0.47元/天 解锁文章
除非code开口说话
关注
专栏目录
怎样编写scrapy扩展
younghz
07-28 8180
原创文章，链接： 在scrapy使用过程中，很多情况下需要根据实际需求定制自己的扩展，小到实现自己的pipelines，大到用新的scheduler替换默认的scheduler。 扩展可以按照是否需要读取crawler大致分为两种，对于不需要读取的，比如pipelines的编写，只需要实现默认的方法porcess_item。需要读取的，如scheduler的编写又存在另外的方式。
Scrapy爬虫框架
Java/Python大数据成长之路
10-09 2246
Scrapy是一个基于Python的开源网络爬虫框架，用于从网页中提取数据。它提供了一套高效、灵活和可扩展的工具，可以帮助开发者快速构建和部署爬虫程序Scrapy是一个由Python语言开发的适用爬取网站数据、提取结构性数据的Web应用程序框架。主要用于数据挖掘、信息处理、数据存储和自动化测试等。通过Scrapy框架实现一个爬虫，只需要少量的代码，就能够快速的网络抓取Scrapy基于Twisted，Twisted是一个异步网络框架，主要用于提高爬虫的下载速度。
Python的Scrapy库及其需要的插件
09-16
本软件包用于安装Python爬虫框架开发所需要的Scrapy库，同时包括安装Scrapy安装所需要的setuptools、zope interface、PyOpenSSL、Twisted等
Scrapy爬虫-必备插件
weixin_30823001的博客
09-25 146
必备插件： lxml, an efficient XML and HTML parser parsel, an HTML/XML data extraction library written on top of lxml w3lib, a multi-purpose helper for dealing with URLs and web page encodings twisted, ...
scrapy 插件scrapy-redis 正确用法，秒变分布式
weixin_43746424的博客
07-28 255
scrapy 插件 首先安装 pip install scrapy-redis 然后在 setting.py加上几句话 SCHEDULER = "scrapy_redis.scheduler.Scheduler" STATS_CLASS = "scrapy_redis.stats.RedisStatsCollector" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER_PERSIST = True ok，运行起
pycharm中scrapy框架安装
weixin_44083915的博客
09-25 5159
首先确保pycharm能正常使用(安装环境为win10 pycharm 2019.3.3 、python 3.6.8) 用 pycharm 安装scrapy框架很便捷只要你的pycharm配置好就能直接一键安装 scrapy需要安装的配套模块 -wheel -twisted -pywin32 -scrapy 在pycharm中Terminal输入对应的模块安装 -twisted对应的安装代码 -pip install Twisted -pywin32 对应安装代码 -pip install p
pytcharm 搭建 scrapy爬虫框架
12-02
在Win10环境下，我们可以借助PyCharm来搭建Scrapy爬虫框架，这将使我们的工作更加便捷和高效。 首先，我们需要确保已经安装了Python。Python是Scrapy的基础，所以必须确保你的系统上已经安装了Python，并且版本兼容...
爬虫实战三、PyCharm搭建Scrapy开发调试环境
Cehae的博客
04-03 900
点击File-> Settings->Project: mySpider->Project Interpreter。注意：如果有多个Python版本，为防止冲突可以选择第一个虚拟环境，此处我只有一个环境，选择配置系统解释器。一般情况下Anaconda已经安装了很多类库，我们只需安装scrapy即可。注意此截图已经配置好完毕，如果没有Project Interpreter，点击下图红框处添加。###2-2、配置Project Interpreter。解释器安装完毕，点击右下方的+号，查询包。
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境及创建Scrapy项目 在Python爬虫领域，Scrapy是一个强大的框架，它简化了网页抓取和数据提取的过程。本文将详细介绍如何在Windows 10环境下，使用PyCharm集成开发...
Python 篇-01 入门级 使用PyCharm IDE 快速创建Scrapy爬虫框架
Destiny的博客
08-21 795
小白入门级爬虫创建Scrapy框架： 使用PyCharm IDE可以快速的创建python项目 集成了大量的插件供我们一键式使用 快速添加依赖库 例子：快速创建Scrapy项目 安装PyCharm 这个安装不是本文重点 我就直接跳过了！！！！！！ 创建项目： Pycharm IDE给我们集成了Virtualenv插件来创建项目的虚拟目录venv目录 使用Pycharm IDE创建的...
Pycharm+Scrapy安装并且初始化项目的方法
09-19
今天小编就为大家分享一篇Pycharm+Scrapy安装并且初始化项目的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pycharm创建scrapy爬虫框架项目
weixin_45232919的博客
06-19 902
pycharm创建scrapy爬虫框架文档 点击左下角的Termianl，pycharm自带的命令框 输入 scrapy startporject 项目名 当命令框显示 scrapy项目创建成功 下面是scrapy框架的常用命令
scrapy插件安装
落叶的博客
06-23 385
pip install pywin32 1、安装wheel pip install wheel 2、安装lxml https://pypi.python.org/pypi/lxml/4.1.0 3、安装pyopenssl https://pypi.python.org/pypi/pyOpenSSL/17.5.0 4、安装Tw...
Pycharm安装Scrapy【小白的个人笔记请不要轻易尝试！】
weixin_45766888的博客
03-21 829
这里因为我自己分不清安装什么版本的，再加上我的Python环境比较新，所以并没有选择版本来安装 ，所以可能不够严谨，步骤2：确认国内镜像是否配置【python软件包】>【管理仓库】在虚拟环境中输入（据说出现下面信息就是成功了）步骤1：使用pycharm创建虚拟环境。步骤4：检查Scrapy是否成功安装。
pycharm安装scrapy
u012961290的专栏
02-27 1221
Toolspycharm cmdPackage安装顺序zope.interface-pyOpenSSL-Twistedlibxml2dom-lxmlScrapyPackage安装方法pycharm-file-settings-project-project interpreter-install'+'-'search packages'name'-install package-confirm搜索...
pycharm使用scrapy框架(十步解决问题)
weixin_43554366的博客
08-02 574
码代码最蛋疼在于解决bug和其它问题，自己摸索要很长时间，耗了3个多小时才找到适合自己的方法。之前在Ubuntu里弄linux图形化写scrapy就是bug不断，系统稳定性不咋样，折腾蛋都疼，不多讲了，看问题解决步骤吧。第一步：在命令行pip install scrapy 不行就试试pip3 install scrapy或sudo pip install ...
Pycharm中Scrapy框架运行测试
码了个BUG的博客
01-19 925
Scrapy框架运行测试及问题总结 1.打开Pycharm，进入Terminal终端窗口，使用cd 命令进入创建项目所在的文件夹(如D:\CS) 输入scrapy startproject myfirstPj 创建一个名叫myfirstPj的项目 (命令格式为：scrapy startproject 项目名) 创建成功如下图所示，提示爬虫运行的命令方法 2.根据提示命令进入创建好的项目文件夹中，输入scrapy genspider baidu www.baidu.com 创建爬虫 scrapy gensp
windows下 PyCharm安装scrapy
jly58fgjk的博客
06-01 8329
scrapy安装    一、python安装          我安装的是python2.7.10，安装注意看看是否添加环境变量          python官方网址：http://www.scrapy.org/    二、安装scrapy需要安装很多关联模块          我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便
[爬虫]3.4.3 Scrapy的中间件和扩展
Andy0214的专栏
07-24 5368
Scrapy是一个灵活的框架，你可以通过设置中间件和扩展来扩展其功能。在这个章节中，我们将深入了解Scrapy的中间件和扩展，并通过示例来解释它们的使用。
在pycharm搭建scrapy爬虫框架
最新发布
09-27
PyCharm是一款流行的集成开发环境（IDE），非常适合用于Python项目，包括Scrapy爬虫框架的开发。以下是使用PyCharm搭建Scrapy爬虫的基本步骤： 1. **安装PyCharm**: 首先确保已安装最新版本的PyCharm Community Edition或专业版，如果还没有，可以从JetBrains官网下载并按照指引安装。 2. **创建新项目**: 打开PyCharm，选择“File” > “New” > “Project”，然后选择“Python”类别，找到“Scrapy Spider”。 3. **配置Scrapy**: - 在项目设置中，点击"Settings"（或快捷键`Ctrl + Alt + S`），导航到"Project Interpreter"，如果需要的话，可以添加或管理Python解释器（推荐使用最新版的Python）。 - 在 "Keyboards & Mouse" 中，开启 "Add Content Root to Project Structure on File Open"，以便快速访问项目的文件结构。 4. **创建Spider**: - 在项目内右击，选择"New" > "File"，创建一个名为spiders的新目录，然后创建一个.py文件，比如`myspider.py`。 - 使用标准的Spiders模板编写代码，如`import scrapy`, `class MySpider(scrapy.Spider):`等。 5. **运行爬虫**: - 在源代码中双击或使用 "Run" > "Edit Configurations..." 来配置一个新的Scrapy Run/Debug Configuration，指定蜘蛛类和起始URL。 - 点击"Run"按钮或使用快捷键(F5)启动爬虫。 6. **调试和查看结果**: PyCharm支持断点调试，并提供了一个内置的终端视图来查看爬虫的日志输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值