Python：Scrapy爬虫简单使用

创建爬虫目录：

scrapy startproject spiderName

---

调试命令

scrapy shell 网站名

调试命令可直接进行 css 和 xpath 的调试；

成功执行命令之后可使用：

response.xpath(xpath表达式)

获取所需的内容。

---

xpath

说明：

XPath 是一门在 XML 文档中查找信息的语言

表达式	描述	实例
nodename	选取nodename节点的所有子节点	//div
/	从根节点选取	/div
//	不考虑位置选择节点	//div
.	选取当前节点	./div
…	选取当前节点的父节点	…
@	选取属性	//@class
//[@]	选取属性的指定元素	//dir[@class]
./text()	输出文本	//dir/text()

备注：
注意 “//” 的使用，熟练使用 “//” 可减少大量观察时间