scrapy创建一个项目的流程（简洁）

最新推荐文章于 2023-09-25 17:24:48 发布
最新推荐文章于 2023-09-25 17:24:48 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41805981/article/details/101001601
版权
本文介绍了使用scrapy创建爬虫项目的详细步骤，包括scrapy的安装、查看命令帮助、创建项目、生成爬虫文件以及运行爬虫程序。通过实例展示了从初始化项目到运行爬虫的整个过程。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1. scrapy的安装

pip install scrapy
如果出错，安装相关的依赖包。

2.命令帮助

scrapy
在这里插入图片描述

3.创建一个scrapy项目

scrapy startproject tencentSpider

在这里插入图片描述
创建的结果如下:
在这里插入图片描述
创建的项目tencentSpider的目录结构：
在这里插入图片描述

4.生成一个具体的爬虫文件

scrapy genspider tencent hr.tencent.com
文件内容没任何操作操作

在这里插入图片描述
生成爬虫程序之后目录的变化：
变化位于红色方框中。即多了一个新创建的爬虫文件tencent.py
在这里插入图片描述

5.运行爬虫程序

scrapy crawl tencent

最低0.47元/天 解锁文章
紫色的梅花
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy创建过程
XJH_2021的博客
10-19 233
scrapy startproject projectName :创建项目 scrapy genspider name www.baidu.com（目标url） ：创建文件 scrapy crawl spiderName（文件名） cls ：清屏 scrapy crawl spiderName（文件名） -o ./文件名.csv ：只能存储parse方法的返回值 文件后缀只能是'json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pi ckle.
scrapy 创建项目流程
怪猫訷的博客
07-21 261
一.创建项目 1.先cd到项目放置的文件夹 # pycharm 或者cmd都可以 2.执行命令 scrapy startproject Novels2 # Novels2 表示项目名字 3.cd Novels2 # 进入到项目文件夹 4.scrapy genspider example example.com # example 就是爬虫的名字 example.com需要爬取的网站的域名 二.配置settings.py 1.第20行 ROBOTSTXT_OBEY = False # 默认true，
怎样创建scrapy项目
google_SEO_yang的博客
04-27 2300
先安装scrapy框架，网上教程很复杂，我只输入pip3 install scrapy就成功安装了。 到pycharm里的设置里把默认的powershell改成cmd.exe 点击pycharm底部的终端： 把想把项目放入的文件夹的路径复制下来，终端里面输入cd，空格，粘贴复制的路径，点回车。 再输入 scrapy startproject firstproject，项目名称就是firstproject。 就可以在文件夹里看到创建好的.
用Scrapy进行创建一个项目
37749442的博客
04-27 308
在命令行中进行操作，自动生成文件。 先在命令行中转为文件需要保存的路径，然后就输入Scrapy startproject +自己想设定的文件名
scrapy创建一个新项目
Time_xiaoxia的博客
09-23 178
1、创建一个新项目 scrapy startproject 项目名 2、确定需要爬取的数据（目标字段） 在项目所在的同名文件夹下，打开items.py文件开始创建目标字段 class WorkDetail(scrapy.Item): # 岗位名称 workname = scrapy.Field() # 岗位人数 worknum = scrapy.Field() # 岗位职责 workdetail = scrapy.Field() 3、创建爬虫程序 scr
Scrapy项目创建
OneFine的技术博客
01-30 264
环境：Python3.x + Scrapy 升级pip(可忽略)： C:\Users\xxx>python -m pip install --upgrade pip # 升级pip Collecting pip Using cached https://files.pythonhosted.org/packages/46/dc/7fd5df840efb3e56c8b4f768793a2...
新建scrapy项目步骤
qq_21183705的博客
02-21 240
本例以爬去豆瓣为例 #新建爬虫项目 scrapy startproject dpuban 生成名称为douban的project #生成爬虫文件 cd douban/douban/spiders scrapy genspider douban_spider movie.douban.com scrapy genspider 爬虫名 域名 在此目录下会生成douban_spider.py文件，这个就...
scrapy创建项目步骤
小生不才
06-11 563
（1）环境搭建—scrapy pip install scrapy （2）创建项目 scrapy startproject 项目名称 （3）第一个爬虫项目 1.scrapy startproject baidu 2.pycharm打开项目 3.在spider文件夹下，新建baidu.py文件 4. cd 项目目录，启动爬虫，命令：scrapy crawl baidu 问题：运行后，查看文件，发现...
Scrapy第三(②)篇：创建scrapy项目
Good Luck
08-14 4348
修改Anaconda镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes此时在C:\Users\Administrator（这里是电脑用户名）下就会生成配置文件.condarcchannels: - https://mirrors.tuna.tsinghua.edu.cn/anaco。...
scrapy之创建scrapy项目
最新发布
weixin_46249157的博客
09-25 746
scrapy之创建scrapy项目
爬虫 9 ：scrapy项目流程 - 安居客
panjunxiao的博客
10-10 319
1、文件位置打开cmd创建scrapy项目 scrapy startproject anjuk 2、在项目下的spideres目录下创建项目的spider 作为启动项目的main 3、把setting中的ROBOTSTXT_OBEY = True 改为False 4、打开注释的请求头 5、测试看看能不能获取到页面 ： 先设置打印，然后运行main.py文件 如果没有结果试试设...
创建第一个scrapy蜘蛛项目
滇北小生
12-14 4475
创建第一个scrapy蜘蛛文件 上面我们已经成功创建了一个scrapy项目，那我们该在哪里写我们的蜘蛛呢？here，在spiders目录下面： 创建的肯定是我们的.py文件。怎么创建呢？你可以用记事本，也可以用pycharm，建议使用pycharm因为方便！首先你需要把你创建的项目mingyan2在pycharm里面打开，然后右键点击spiders，选中New再选中python
Scrapy项目搭建的完整步骤
z_ipython的博客
09-06 916
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 （一）scrapy...
Scrapy 项目步骤
Nicole_218的博客
11-24 249
1.创建项目：scrapy star project *** 2.编写 items.py文件：设置需要保存的数据字段 3.进入项目***/spiders 3个自带的： 编写爬虫文件，文件里的 name 就是爬虫名（区别与项目名） 允许的域组 起始 url 地址 之后写方法处理响应内容：（xpath可以匹配出想要的数据，通过yield传到管道文件），在 setting.py 中设置管道文件的类名，在...
Scrapy框架学习（一）----Scrapy介绍及第一个项目
Widsom的博客
11-29 2636
Scrapy框架学习（一）—-Scrapy介绍及第一个项目scrapy的介绍Scrapy使用纯python实现的爬虫框架，采用Twisted网络异步框架来处理网络通讯层，并包含了各种中间件接口。可以灵活的完成需要爬取网站数据，并提取结构性数据。Scrapy的中文文档 http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html Scrapy官方
scrapy的项目创建
devil6636252的博客
11-12 133
1. 创建爬虫项目 使用startproject命令创建项目 scrapy startproject s_Test #使用scrapy产生一个scrapy_name爬虫项目 2 生成爬虫项目 使用genspider命令在项目中创建爬虫脚本 scrapy genspider --list scrapy genspider myspider "www.myspider_domain.com" ...
Scrapy框架的基本流程
PythonWangbo的博客
04-03 280
Scrapy框架的基本流程Scrapy框架的操作流程（14部分）实例：北京链家二手房信息爬取流程 Scrapy框架的操作流程（14部分） Scrapy引擎从Spider获取起始的Request Scrapy引擎将获取到的Request发给调度中心排列入队 Scrapy引擎从调度中心请求获取需要处理的Request Scrapy引擎获取到需处理的Request后，将Request发给下载器 Req...
python之爬虫scrapy框架开始一个小项目（七）
qq_44790423的博客
08-14 573
在安装了一系列的插件之后，我们就要正式踏上虫虫的幸福征程了，那么我们就先从最简单的一个项目开始吧 学过编程语言的都知道一个项目就是在一个文件夹里有不同类型的文件，其发挥的作用的也不同，就像是在HTML和CSS中，一个里面是内容，一个里面是结构，这样的话就算是很多的代码，我们也能很快找个每个部分的问题，对于需要大量的代码的程序就是很好的选择 一、搭建工程 二、 该篇文章是参考了一位大神的博客 原...
关于Scrapy的那些事儿（二）如何创建Scrapy项目
蜡笔小新星的博客
02-06 574
安装Scrapy，如果是用PIP安装,在终端输入命令如下： pip install scrapy 在安装的过程中，可能会提示错误，可能会有某些依赖包无法安装，这时需要单独安装依赖包后再运行上面的命令安装Scrapy。 在使用Scrapy项目之前，我们必须创建一个Scrapy工程，依旧是在终端输入命令： scrapy startproject tutorial # tutorial：这里是项目名字 这个时候我们就会发现创建了一个tutorial文件夹，里面包含： tutorial/ scrapy.c
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值