#scarpy常见指令及其使用
scarpy -h
bench 硬件测试的指令,可以在爬虫项目里面或外面执行,属于项目指令
fetch 直接获取一个网址,直接获取某个网页
genspider与爬虫文件有关,基于一个爬虫模板创建一个爬虫文件
runspider运行一个爬虫,
settings与爬虫配置有关
shell进入交互式页面
startproject创建一个爬虫项目
version显示版本信息
view 打开一个url
目录结构:
核心目录
.cfg文件主要做爬虫项目的配置
进入核心目录,所有的爬虫文件放在spiders目录下
spiders–>init.py初始化文件
核心目录–>init.py初始化文件
–>items.py定义一些爬取目标
–>middlewares.py中间件文件,中间件:爬虫在访问外面时到底是怎样的,加代理服务器
–>pipelines.py 爬后处理的文件,到底是写进文件还是数据输出还是写进数据库
–>settings.py 总体设置的一个文件
编码顺序:
items编写—>爬虫文件–>pipelines–>items文件
settings文件全局起作用。
scrapy中的指令分为:全局指令和项目指令
check项目指令,只有在爬虫项目中
crawl指令,主要是运行某一个爬虫文件
edit指令,
list指令主要看当前爬虫项目下可以使用的爬虫文件
scrapy -h
scrapy fetch http://www.baidu.com
运行爬虫文件
scrapy runspider abcde.py
获得设置文件的相关信息
scrapy settings --get BOT_NAME
启动交互终端
scrapy shell http://www.baidu.com
view 直接在浏览器上爬取网页
bench 测试本地硬件的性能
爬取网页,下载到本地并在浏览器上打开
scrapy view http://news.163.com
测试电脑,每分钟最多可以爬取多少网页
scrapy bench
当前系统中有那些爬虫模板
scrapy genspider -l
创建一个爬虫文件(weiwei后面是域名)
scrapy genspider -t basic weiwei iqianyue.com
测试爬虫文件合同契约
scrapy check weiwei
运行爬虫项目下的某个爬虫文件
scrapy crawl weiwei
不输出日志
scrapy crawl weiwei --nolog
查看当前目录下有哪些文件
scrapy list
获取当前相关的问题
scrapy parse http://www.baidu.com
scrapy parse --spider=weiwei http://news.163.com
如何编写一个爬虫项目,
在命令行里面进行
A创建爬虫项目 scrapy startproject dangdang
B进入当当网爬虫项目 创建一个爬虫文件 scrapy genspider -t basic dd dangdang.com
1)首先编写items.py,写好要爬取的几个属性
2)编写dd.py,设置start_urls.网页的响应都在response里面
3)写好了运行一下使用scrapy crawl dd