scrapy的使用（一）

最新推荐文章于 2024-03-05 18:15:56 发布
最新推荐文章于 2024-03-05 18:15:56 发布
阅读量641 收藏 4
点赞数 4
分类专栏： 爬虫 文章标签： scrapy的使用（一）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41781408/article/details/88659745
版权
本文介绍了如何在Python环境下安装Scrapy遇到的问题及解决办法，详细讲解了从在指定网站下载对应版本的Twisted库，到通过pip安装，最终成功安装Scrapy。接着演示了在PyCharm中创建Scrapy爬虫项目'MaiTian'的步骤，并提供了两种运行爬虫文件的方式。
摘要由CSDN通过智能技术生成

scrapy的使用

工作原理
在这里插入图片描述

1.下载scrapy

pip install scrapy 出问题
在这里插入图片描述
然后在https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网页找到你对应的python的版本和你的计算机配置例如 cp35 python3.5版本，amd64就是计算机64位。
在这里插入图片描述
然后pip install 这个文件下载后的地址和它的名字。即在cmd中输入pip install Twisted的路径，例如下载路径为F:\Twisted-18.9.0-cp35-cp35m-win_amd64.whl，则输入pip install F:\ Twisted-18.9.0-cp35-cp35m-win_amd64.whl即可，再次pip install scrapy就成功了。

2.创建爬虫项目

我这个是在pycharm 中写的。在terminal 中输入scrapy 可以查看他的命令，
然后输入scrapy startproject MaiTian 就创建了一个MaiTian的爬虫项目。

最低0.47元/天 解锁文章
dayday学习
关注
专栏目录
【Python爬虫系列教程 28-100】小姐姐带你入门爬虫框架Scrapy、 使用Scrapy框架爬取糗事百科段子
weixin_54707168的博客
03-15 295
【Python爬虫系列教程 28-100】小姐姐带你入门爬虫框架Scrapy、 使用Scrapy框架爬取糗事百科段子
Scrapy的基本使用
m0_63497523的博客
04-13 423
Scrapy的介绍 Scrapy包含了爬虫的所有的单元，并且提供了很多有用的中间插件，可以自由控制，便捷使用，Scrapy框架流行图如下： 下面对最主要的组件进行介绍： Scrapy Engine （引擎）：负责所有的组件数据传递。 Scheduler （调度器）：负责接收引擎发送的请求并排入队列，当引擎请求时，在传递给引擎。 Downloader （下载器）：接收引擎传递的请求并下载页面数据，然后将其获取到的响应 传递给引擎，由引擎传递给spider进行处理。 Spider (爬虫) ：用
scrapy使用心得(入门教程)
Qwertyuiop2016的博客
04-20 2564
scrapy官网：https://doc.scrapy.org/en/latest/topics/settings.html 基本上没有什么教程可以媲美官方文档的，所有的教程不过是在解读官方文档。所以，如果你有耐心的话可以自己看官方文档。使用谷歌浏览器自带的谷歌翻译可以看得懂，不像python官方的文档，机翻出来基本天书。 关于各组件的功能，我觉得这个博客写的很好。可以看一下https://www...
scrapy使用
不凡De老五
01-04 227
1.安装 pip install scrapy 2.创建项目 scrapy startproject firstSpider(项目名） 3.创建爬虫文件 cd firstSpider/firstSpider #创建普通爬虫 scrapy genspider qiubai "www.qiushibaike.com" #创建crawl模板爬虫 scrapy genspid
Scrapy的使用
Xzike的博客
05-20 1799
Scrapy的使用一. Scrapy的简介与安装(1) Mac或Linux的安装(2) Windows安装(3) Scrapy框架简介(4) 大致流程二. 创建项目三. 运行项目（1）命令行运行（2）创建py文件运行四. 设置settings.py五. Scrapy解析数据六. 存储数据（1）基于终端指令进行持久化存储（2）基于管道进行持久化存储（重点）七. 手动发送请求八. 请求传参参考 一. Scrapy的简介与安装 (1) Mac或Linux的安装 直接pip install scrapy (2) W
scrapy简单使用
m0_52839423的博客
06-08 1288
关于scrapy的常用命令，组件、功能、流程介绍，让你5分钟搭建属于自己的爬虫项目
Scrapy使用1
08-08
创建一个Scrapy项目，可以使用`scrapy startproject`命令，例如`scrapy startproject sdk`，这将生成一个名为sdk的Scrapy项目结构。该项目包含以下核心组件： 1. `spiders/`：这是放置爬虫代码的目录，每个爬虫是一...
scrapy使用布隆过滤器实现增量爬取
01-20
之前看了很多关于scrapy-redis使用bloomfilter进行持久化存储进行url去重的例子，可是发现没有一种适用于scrapy，于是萌生了基于现有scrapy-redis-bloomfilter库进行改写的想法。 经过修改，此脚本可以做一个初步的...
scrapy-selenium:Scrapy中间件使用Selenium处理javascript页面
04-30
Scrapy中间件可使用Selenium处理javascript页面。 安装 $ pip install scrapy-selenium 您应该使用python> = 3.6 。 您还将需要一种与Selenium。 配置 添加要使用的浏览器，驱动程序可执行文件的路径，以及将要传递...
scrapy的真实使用
马立弘
11-08 675
一、伪造头部和cookie 1.HEADER 和 COOKIES 在 settings.py 中定义如下：HEADER={ "Host": "www.zhihu.com", "Connection": "keep-alive", "Cache-Control": "max-age=0", "Accept": "text/html,application/xhtml+x
scrapy基本使用
qq_53039581的博客
04-21 1158
爬虫 scrapy基本使用
Python爬虫——Scrapy 的基本使用
万里顾一程的博客
08-25 4577
parse()：解析的方法，解析返回的响应、提取数据或者进一步生成要处理的请求；创建成功，项目文件如下：Scrapy 框架将整个爬虫项目分成了不同的模块，其中每个模块负责处理不同的工作，而且模块之间紧密联系。allowed_domains：允许访问的域名，如果后续请求中的域名不是这个域名或不是这个域名的子级域名，则请求会被过滤掉。name：爬虫文件的名字，必须是唯一的，用于运行爬虫和区分不同的爬虫。start_urls，初始的url地址，爬虫在启动时访问的域名。第一个参数是 python爬虫文件的名称。
python爬虫——scrapy的使用
K哥爬虫
01-16 8693
本文中的知识点： 安装scrapy 由于小哥的系统是win7，所以以下的演示是基于windows系统。linux系统的话，其实命令都一样的，没啥差，windows与linux都可以用。 pip install scrapy 安装好后，先看下scrapy是否安装上了，确认下，我的是Scrapy 1.8.0 scrapy version 好了，安装很简单。用scrapy创建个新项目吧。命令行...
超详细的Scrapy框架的基本使用教程
最新发布
什么时候才不是菜鸟....
03-05 4617
scrapy框架；Python爬虫
使用scrapy写一个爬虫
04-27
好的，我来为你讲解一下如何使用 Scrapy 写一个爬虫。 首先，你需要安装 Scrapy，你可以使用以下命令来安装： ``` pip install scrapy ``` 然后，你可以使用以下命令来创建一个新的 Scrapy 项目： ``` scrapy startproject myproject ``` 在创建项目之后，你可以在 `myproject/spiders` 目录下创建一个新的爬虫文件。 你可以使用以下代码来编写爬虫： ```python import scrapy class MySpider(scrapy.Spider): # 爬虫的名字，用于运行爬虫时指定 name = 'myspider' # 允许爬取的域名列表，限制爬取范围 allowed_domains = ['example.com'] # 起始 URL 列表，爬虫执行时从这里开始抓取数据 start_urls = ['http://example.com/1.html', 'http://example.com/2.html'] def parse(self, response): # 解析页面数据的方法，调用该方法时传入从网站获取的 Response 对象 pass ``` 最后，你可以使用以下命令来运行你的爬虫： ``` scrapy crawl myspider ``` 希望这些内容能帮助你了解如何使用 Scrapy 编写爬虫。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值