创建Scrapy项目(一)

本文介绍了在Windows环境下,使用PyCharm和Scrapy框架创建爬虫项目的步骤。从启动cmd创建项目,到测试爬取电影天堂网站,再到创建Spider模块,最后展示Scrapy爬虫运行。下篇将探讨如何获取网页数据并存储到数据库。
摘要由CSDN通过智能技术生成

作者默认各位学者都是已经安装好Scrapy框架的,接下来我们进行实战操作。

环境:windows平台(win10专业版)

编译器:Pycharm专业版(官网下载的然后网站上找的破解方法,破解方法会时时更新,所以读者要破解码之类的直接百度就好)

第一步:创建Scrapy文件

利用快捷键(win+R)快速打开运行窗口,然后在里面输入cmd命令进入cmd控制台界面。

由于本人有分类管理的习惯,所以一般我创建文件都不是直接创建在C盘,我喜欢建在D盘,如果你跟我一样有分类的习惯,在控制台输入D:

eg:C:\User\xxxx>D:(xxxx是用户名,自己设置的名字,本人设的是自己的名字,所以这里用xxxx代替)

换入D盘后直接输入scrapy startproject “项目名称” eg: scrapy startproject Movie

会出现以下内容

You can start your first spider with:
    cd Movie
    scrapy genspider example example.com

出现这些东西呢,就表明scrapy项目创建成功了,这时你可以去创建目录下面找到自己刚刚创建的文件夹(不要关闭刚刚的cmd窗口哦)


进入文件夹,你也可以看到scrapy框架帮我们创建好的文件&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值