Python：Pycharm如何使用scrapy框架做爬虫？

最新推荐文章于 2024-06-03 13:22:51 发布
最新推荐文章于 2024-06-03 13:22:51 发布
阅读量9.9k 收藏 44
点赞数 7
分类专栏： Python爬虫 文章标签： Scrapy框架 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YiXiao1997/article/details/87834960
版权

因为入门python以来一直使用pycharm，所以对着黑白的DOS不习惯，所以此次来实现使用pycharm进行实现使用scrapy框架

①pip install scrapy(首先安装scrapy第三方包) 不会安装的：参考本人另一篇博文：https://blog.csdn.net/YiXiao1997/article/details/96345737

②新建第一个scrapy项目，先cd到想要的目录，然后输入：scrapy startproject PythonScrapy ，就建好了一个项目

打开新建的项目，然后如图：

在项目目录下新建一个start.py用来实现项目的启动

 然后在spider下新建一个Test_spider.py 其中name = "Test_spider"就是爬虫名字，所以在start.py下也启动这个名字

有些网站有反爬虫，所以需要伪装成浏览器，这个时候需要在settings.py中进行设置 ,修改DEFAULT_REQUEST_HEADERS={}

最后直接运行就可以了

 

 

Behersve
关注
  • 7
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Python+Pycharm+Scrapy搭建爬虫项目.docx
03-17
PyCharm Community是一个流行的Python IDE，适合开发各种Python项目，包括Scrapy爬虫。安装PyCharm后，你需要通过命令行工具（如cmd）安装Scrapy，命令为`pip install scrapy`。 接下来，我们开始搭建Scrapy爬虫...
Python简单爬虫项目
面对对象面对君的博客
12-26 1768
项目搭建过程一、新建python项目在对应的地址 中 打开 cmd 输入：scrapy startproject first 2、在pyCharm 中打开新创建的项目，创建spider 爬虫核心文件ts.py import scrapy from first.items import FirstItem from scrapy.http import Request # 模拟浏览器
pycharm 中scrapy框架安装使用
liuyunaaaaaa的博客
11-29 4288
标题 pycharm 中scrapy框架安装使用 一、 爬虫框架Scrapy 1、 使用python语言开发的爬虫组件，可以方便的从网站爬取需要的网页数据. 2、 可以对网页元素进行解析并获取指定的数据，这些数据可以与实体中的属性进行对应。 3、 Scrapy的构成 (1) 爬虫引擎:用于控制整个爬取的流程 (2) 调度器:将请求爬取的网址排列为一个队列。 (3) 下载器：从请求的网址中下载网页内容 (4) 管道:对爬取的数据进行处理（持久化—保存到文件或者数据库中） (5) 爬虫组件:爬取网页中需要的
PyCharm的基本使用教程
最新发布
m0_65482549的博客
06-03 982
PyCharm的基本使用教程
python requests 爬虫--爬取HTML源码不显示正文已解决
热门推荐
LOVEYSUXIN的专栏
12-05 1万+
爬虫第一步：获取整个网页的HTML信息。 源代码如下： # -*- coding:UTF-8 -*- import requests if __name__ == '__main__': target = 'https://www.biqukan.com/1_1094/5403177.html' req = requests.get(url=target) req...
爬虫爬取网站数据(urllib、requests、lxml)
qq_26496077的博客
06-02 610
简介 urllib和requests都可以进行页面爬取操作,通过urllib.urlopen()、requests.get()等方法传入url从而获取url页面等信息.另外可以通过lxml中的etree方法通过xpath解析DOM树.其他的库比如BeautifulSoup和lxml一样都可以用来解析xml/html. 使用实例代码(requests+lxml) # -*- coding: UTF-8 -*- import sys reload(sys) sys.setdefaultencoding(..
Python爬虫 手把手教你利用爬虫爬取网页
xixi20200的博客
10-21 9133
本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以便具备编写HTTP网络程序的能力。 01 网络爬虫概述 接下来从网络爬虫的概念、用处与价值和结构等三个方面，让大家对网络爬虫有一个基本的了解。 1. 网络爬虫及其应用 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，网络爬虫应运而生。网络爬虫（又被称为网页蜘蛛、...
在PyCharm中运行scrapy项目
wangjiang
01-26 6544
安装Scrapy 关于Scrapy框架简单介绍，可以参看菜鸟教程：Scrapy 入门教程。 在Mac OS中安装Scrapy并不是直接安装，而是先安装virtualenv，virtualenv可以创建一个隔绝独立的python开发环境，让不同项目分别运行在自己需要的开发环境中，解决不同项目间多版本的冲突问题。 安装完virtualenv后再继续安装Scrapy。 pip install virtu...
使用PyCharm编写Scrapy爬虫程序，爬取古诗词网站
欢迎来到我的小家
11-25 7371
有两种执行Scrapy爬虫的方法，第一种是在Terminal窗口中输入命令“scrapy crawl poemSpider”，然后回车运行，等待几秒钟后即可完成数据的爬取。在Terminal窗口输入命令“cd poemScrapy”，进入对应的爬虫工程中，再输入命令“scrapy genspider poemSpider gushiwen.cn”，这时，在spiders目录下会出现一个新的Python文件poemSpider.py，该文件就是我们要编写爬虫程序的位置。同级目录下生成的data.txt文件。
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
在本文中，我们将详细介绍如何在Windows 10环境下，使用PyCharm搭建Scrapy爬虫框架的开发环境，并创建一个新的Scrapy项目。Scrapy是一个强大的Python爬虫框架，它提供了一整套解决方案，包括数据提取、处理、存储等...
Python Scrapy网络爬虫框架学习资料（原创）
05-26
Scrapy爬虫框架 1、简介 Scrapy是用纯Python实现的一个功能强大的网络爬虫框架。不是一个简单的函数功能库，而是一个爬虫框架。 在没有学习Scrapy之前,我们使用的爬虫方法： requests+re正则表达式 requets+lxml...
Pycharm-Python爬虫专业工具 我的最爱使用
04-20
1. **爬虫框架支持**：PyCharm支持诸如Scrapy、BeautifulSoup、Requests等常用爬虫框架，提供代码模板和智能提示，使爬虫开发更为简单。 2. **内置HTTP客户端**：PyCharm内置了HTTP客户端工具，可以直接发送HTTP...
Python的爬虫框架scrapy用21行代码写一个爬虫
01-21
开发框架:Scrapy 1.3.3(目前最新) 目标 爬取线报网站,并把内容保存到items.json里 页面分析 根据上图我们可以发现内容都在类为post这个div里 下面放出post的代码 <!-- baidu_tc block_begin: {action: ...
Python基于Scrapy-Redis分布式爬虫设计
11-04
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
pycharm运行scrapy过程图解
09-18
在文件中，你可以编写如下代码来执行Scrapy爬虫： ```python # -*- coding:utf-8 -*- from scrapy import cmdline cmdline.execute("scrapy crawl itcast -o itcast1.csv".split()) ``` 这段代码会调用Scrapy...
Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计完整
10-08
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
pycharm爬虫模块（scrapy）基础使用
weixin_74182283的博客
04-15 2788
今天学了个爬虫。在此记录。
Scrapy框架在Pycharm中的简单学习应用
m0_62516482的博客
03-12 1054
Scrapy框架在Pycharm中的简单学习应用
pycharm中的scrapy框架怎么爬取数据？
05-26
首先，你需要安装Scrapy框架，可以使用以下命令进行安装： ``` pip install scrapy ``` 接下来，你需要创建一个新的Scrapy项目，可以使用以下命令： ``` scrapy startproject project_name ``` 然后，你需要定义一个爬虫，在Scrapy项目的`spiders`目录下创建一个新的Python文件，例如`example_spider.py`，并在其中定义一个类，继承自`scrapy.Spider`类。在该类中，你需要定义以下几个属性： - `name`：爬虫的名称。 - `start_urls`：爬虫开始爬取的URL列表。 - `parse`：解析爬取到的响应数据的方法。 例如，下面是一个简单的爬虫示例： ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" start_urls = [ "http://quotes.toscrape.com/page/1/", "http://quotes.toscrape.com/page/2/" ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), 'tags': quote.css('div.tags a.tag::text').getall(), } ``` 在上面的示例中，爬虫的名称为`example`，开始爬取的URL列表为`http://quotes.toscrape.com/page/1/`和`http://quotes.toscrape.com/page/2/`。在`parse`方法中，我们使用CSS选择器来提取响应中的数据，并使用`yield`关键字将其返回。 最后，你可以使用以下命令运行爬虫： ``` scrapy crawl example ``` 这将启动爬虫，并开始爬取数据。爬取到的数据将会被保存在Scrapy项目的默认输出目录中，通常为`./project_name/spiders`目录下的`output.json`文件中。你也可以使用其他输出格式，例如CSV或XML等。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值