scrapy框架基本使用

scrapy框架

创建一个scrapy工程

step 1.创建一个工程 先cd到指定目录 eg:cd day4

step 2.创建工程

scrapy startproject xxxPro

step 3.cd进入子目录

cd xxxPro

step 4.在spiders子目录中创建一个爬虫文件

scrapy genspider spiderName www.xxx.com

step 5 执行工程

scrapy crawl spiderName

setting 文件的修改

LOG_LEVEL = 'ERROR'
User-Agent = ''
ROBOTSTXT_OBEY = True -> ROBOTSTXT_OBEY = False

scrapy 中xpath使用方法

eg:

div.xpath('./div[1]/a[2]/h2/text()')[0].extract()

.extract()要加进去 不然得到的是一个列表而不是文本

scrapy 中终端指令存储文件的方法

scrapy crawl xxx -o FilePath(scrapy crawl qiubai -o ./qiubai.csv)

终端存储文件的缺点

文本的类型只可以为：‘json’,‘jsonlines’,‘jl’,‘csv’,‘xml’