新建scrapy项目步骤

最新推荐文章于 2024-03-13 09:52:01 发布
最新推荐文章于 2024-03-13 09:52:01 发布
阅读量234 收藏
点赞数
分类专栏： scrapy 文章标签： 爬虫 scrappy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21183705/article/details/87856199
版权

本例以爬去豆瓣为例
#新建爬虫项目
scrapy startproject dpuban
生成名称为douban的project

#生成爬虫文件
cd douban/douban/spiders
scrapy genspider douban_spider movie.douban.com
scrapy genspider 爬虫名 域名

在此目录下会生成douban_spider.py文件，这个就是我们的爬虫文件

#修改配置文件
修改settings.py文件里的user_agent
USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15’

#设置启动文件
在spiders路径下面新建main.py文件

文件内容如下
from scrapy import cmdline
cmdline.execute(‘scrapy crawl douban_spider’.split())

这样在执行项目时，直接执行main.py文件即可

呆呆不会呆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy创建过程
XJH_2021的博客
10-19 230
scrapy startproject projectName :创建项目 scrapy genspider name www.baidu.com（目标url） ：创建文件 scrapy crawl spiderName（文件名） cls ：清屏 scrapy crawl spiderName（文件名） -o ./文件名.csv ：只能存储parse方法的返回值 文件后缀只能是'json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pi ckle.
scrapy创建一个项目的流程（简洁）
qq_41805981的博客
09-18 1127
1. scrapy的安装 pip install scrapy 如果出错，安装相关的依赖包。 2.命令帮助 scrapy 3.创建一个scrapy项目 scrapy startproject tencentSpider 创建的结果如下: 创建的项目tencentSpider的目录结构： 4.生成一个具体的爬虫文件 scrapy genspider tencent hr.te...
scrapy创建项目步骤
小生不才
06-11 554
（1）环境搭建—scrapy pip install scrapy （2）创建项目 scrapy startproject 项目名称 （3）第一个爬虫项目 1.scrapy startproject baidu 2.pycharm打开项目 3.在spider文件夹下，新建baidu.py文件 4. cd 项目目录，启动爬虫，命令：scrapy crawl baidu 问题：运行后，查看文件，发现...
Scrapy 项目步骤
Nicole_218的博客
11-24 239
1.创建项目：scrapy star project *** 2.编写 items.py文件：设置需要保存的数据字段 3.进入项目***/spiders 3个自带的： 编写爬虫文件，文件里的 name 就是爬虫名（区别与项目名） 允许的域组 起始 url 地址 之后写方法处理响应内容：（xpath可以匹配出想要的数据，通过yield传到管道文件），在 setting.py 中设置管道文件的类名，在...
scrapy新建项目的过程
weixin_43351935的博客
09-03 121
在要建项目文件夹下按住sheift+右键，打开cmd命令板。输入以下命令。 然后出现了一下的结构出来。。 打开爬虫spider，可以书写代码了。。
在pycharm创建scrapy项目的实现步骤
01-21
步骤很简单，直接进入主题。...scrapy startproject Testscr （Testscr是你对应的项目命），创建成功后刷新一下项目或者直接cd Testscr到你的爬虫项目，就可以看到你的爬虫项目了。 tscr到你的爬虫项目，就可以看到你
scrapy创建以及启动项目步骤！
12-22
1，创建项目：scrapy startproject biqukanproject D:\pythonscrapy>scrapy startproject biqukanproject New Scrapy project 'biqukanproject', using template directory 'd:\python_install\lib\site-packages\...
scrapy项目源码（入门练习）
11-10
在实战项目中，你将逐步学习如何创建Scrapy项目，编写爬虫代码，定义数据结构，设置处理流程，以及如何运行和调试。此外，你还可以接触到Scrapy的其他高级特性，如Selenium或Splash用于处理JavaScript渲染的页面，...
图文详解python安装Scrapy框架步骤
09-19
创建新项目时，使用`scrapy startproject project_name`命令，如： ```shell scrapy startproject my_first_project ``` 这将在当前目录下创建一个名为`my_first_project`的文件夹，其中包含了Scrapy项目的结构。...
用Pyinstaller打包Scrapy项目例子
01-10
总结起来，使用Pyinstaller打包Scrapy项目涉及到以下步骤： 1. 安装Pyinstaller。 2. 编写或调整`crawl.py`，使其能独立启动Scrapy爬虫。 3. 运行Pyinstaller命令进行打包。 4. 处理可能出现的依赖问题。 5. 分发...
Scrapy框架——安装以及新建scrapy文件
weixin_30367169的博客
08-16 135
一.安装 conda install Scrapy ：之后在按y 表示允许安装相关的依赖库（下载速度慢的话也可以借助镜像源），安装的前提是安装了anaconda作为python ， 测试scrapy是否安装成功,在窗口输入scrapy回车 注意：我这是之前安装了anaconda 所以能直接这样下载 如果没有则需要自己一个一个下载依赖库 和scrapy 但是可以借助豆瓣的镜像...
Scrapy框架入门、创建scrapy文件
阿熊的博客
03-01 340
简单理解一下scrapy框架，架构图如下： scrapy engine 核心引擎 Scheduler 调度器：获取requests生成队列，传递requests至downloader downloader 下载器：处理requests，获取页面数据。引擎和下载器直接有一个中间件。 spiders 解析器：解析responses，返回items，生成新的requests传递至scheduler。引擎...
创建scrapy项目
qq_30190513的博客
11-26 210
1. 选择合适的文件夹，在pycharm中的Terminal中输入：scrapy startproject Spider，创建爬虫项目Spider。 2. 执行命令后，得到一个名为Spider的文件夹，文件结构如下： 3. 进入项目根目录：cd Spider 4. 创建爬虫文件agri.py：scrapy genspider agri agri.cn 5. 执行该命令后，得到爬...
新建一个scrapy项目的步骤
baidu_24545901的博客
12-26 2万+
1、创建一个scrapy的开发环境 mkvirtualenv article mkvirtualenv --python=C:\Users\Administrator\AppData\Local\Programs\Python\Python\python.exe 2、使用   scrapy 来创建 ArticleSpider项目 在文件夹中右键，在此处打开命令窗口，本人是在
scrapy 创建项目流程
怪猫訷的博客
07-21 235
一.创建项目 1.先cd到项目放置的文件夹 # pycharm 或者cmd都可以 2.执行命令 scrapy startproject Novels2 # Novels2 表示项目名字 3.cd Novels2 # 进入到项目文件夹 4.scrapy genspider example example.com # example 就是爬虫的名字 example.com需要爬取的网站的域名 二.配置settings.py 1.第20行 ROBOTSTXT_OBEY = False # 默认true，
scrapy流程
qq_53367724的博客
06-01 528
​ scrapy的官方文档: https://docs.scrapy.org/en/latest/引擎(engine)scrapy的核心, 所有模块的衔接, 数据流程梳理.调度器(scheduler)本质上这东西可以看成是一个队列. 里面存放着一堆我们即将要发送的请求. 可以看成是一个url的容器. 它决定了下一步要去爬取哪一个url. 通常我们在这里可以对url进行去重操作.下载器(downloader)
Scrapy项目搭建的完整步骤
z_ipython的博客
09-06 897
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 （一）scrapy...
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
热门推荐
一定要站在自己热爱的生活里闪闪发光
04-16 3万+
1.环境 win10 PyCharm Python 3.6 2.scrapy 环境搭建 安装两个python模块：Twisted、scrapy。在cmd中安装会快捷一点。 安装Twisted： 执行 pip install twisted 安装scrapy：执行 pip installscrapy 【注】安装完成后，执行 pip list 检查以下上述两个模块是否安装成功。 ...
『scrapy爬虫』01. 安装环境创建示例项目（保姆级图文）
最新发布
MZH
03-13 1980
『scrapy爬虫』01. 安装环境创建示例项目（保姆级图文）
Scrapy项目创建步骤及实例
06-11
Scrapy项目的创建步骤如下： 1. 安装Scrapy：在命令行窗口中，使用pip命令安装Scrapy。 2. 创建项目：在命令行窗口中，使用scrapy startproject命令创建一个新的Scrapy项目。 3. 创建Spider：在项目的spiders目录下，创建一个名为spider_name.py的Spider文件，并在其中定义如何爬取网站的行为。 4. 编写Item：在项目的items.py文件中定义Item的结构。 5. 编写Pipeline：在项目的pipelines.py文件中定义数据处理管道，如何处理从Spider获取到的数据。 6. 配置项目：在项目的settings.py文件中设置项目的配置，如User-Agent、请求头、代理等。 下面是一个简单的Scrapy实例，它可以爬取豆瓣电影Top250的电影名称和评分： 1. 安装Scrapy：在命令行窗口中，使用pip命令安装Scrapy。 2. 创建项目：在命令行窗口中，使用scrapy startproject命令创建一个新的Scrapy项目。 ``` scrapy startproject douban_movie ``` 3. 创建Spider：在项目的spiders目录下，创建一个名为douban_spider.py的Spider文件，并在其中定义如何爬取豆瓣电影Top250的网站的行为。 ```python import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): movies = response.xpath('//div[@class="hd"]') for movie in movies: title = movie.xpath('./a/span/text()').extract_first() rating = movie.xpath('../div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first() yield { 'title': title, 'rating': rating } next_page = response.xpath('//span[@class="next"]/a/@href') if next_page: url = response.urljoin(next_page[0].extract()) yield scrapy.Request(url, callback=self.parse) ``` 4. 编写Item：在项目的items.py文件中定义Item的结构。 ```python import scrapy class DoubanMovieItem(scrapy.Item): title = scrapy.Field() rating = scrapy.Field() ``` 5. 编写Pipeline：在项目的pipelines.py文件中定义数据处理管道，如何处理从Spider获取到的数据。 ```python import pymongo class DoubanMoviePipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE', 'items') ) def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db['douban_movie'].insert_one(dict(item)) return item ``` 6. 配置项目：在项目的settings.py文件中设置项目的配置，如User-Agent、请求头、代理等。 ```python USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 1 ITEM_PIPELINES = { 'douban_movie.pipelines.DoubanMoviePipeline': 300, } MONGO_URI = 'mongodb://localhost:27017/' MONGO_DATABASE = 'douban_movie' ``` 以上就是一个简单的Scrapy实例的创建步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值