python爬虫自学宝典——使用shell调试工具

前文回顾
本章先介绍如何使用shell调试工具，以方便之后的学习工作。
在计算机科学中，Shell俗称壳（用来区别于核），是指“为使用者提供操作界面”的软件（命令解析器）。它类似于DOS下的command.com和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。
本教程示例将会从我的博客主页，爬取我的博客信息。打开我的播客主页如下：

查看我的博客主页的源代码，如下：

下面将会使用scrapy提供的shell调试工具来抓取该页面中的信息。打开dos窗口，使用如下命令来开启shell调试。

scrapy shell https://me.csdn.net/blog/qq_44503987

注：https://me.csdn.net/blog/qq_44503987是我的博客主页。
运行上面命令，将会看到如下图提示信息：

response<200 https://https://me.csdn.net/blog/qq_44503987>表示服务器接收响应。
当然，有时候会是response<403 url>，这表示服务器拒绝请求，也表示了服务器开启了“防爬虫”，不允许使用scrapy爬取数据。例如，我们爬取Boss直聘首页的职位信息，输入如下命令。

scrapy shell https://www.zhipin.com/job_detail/?ka=header-job

注：https://www.zhipin.com/job_detail/?ka=header-job是boss直聘主页的职位信息。
出现如下界面：

response<403 https://www.zhipin.com/job_detail/?ka=header-job>表示服务器拒绝响应。遇到这种情况时，可以让scrapy伪装成浏览器，需要在发送请求时设置user-agent头，将user-agent值设置为真实浏览器发送请求的user-agent。
查看浏览器user-agent的方法，请点击此处。
使用如下命令让scrapy伪装成chrome浏览器来开启shell调试。

scrapy shell -s USER_AGENT=‘Mozilla/5.0’ https://www.zhipin.com/job_detail/?ka=header-job

键入命令后，回车，出现如下界面：

查看上述红框部分，可知浏览器伪装成功了，然后返回爬取我的博客信息界面。
接下来补充一些xpath内容，若想知道后事如何，此内容必看。
接下来补充一些xpath内容，若想知道后事如何，此内容必看。
接下来补充一些xpath内容，若想知道后事如何，此内容必看。
框幅若太大，则造成视觉疲劳，为此给出补充xpath内容链接。
xpath内容链接（也是我自己写的，不必担心内容脱节。）
掌握了xpath的写法之后，既可以在scrapy的shell控制台调用response的xpath()方法来获取xpath匹配节点。
先举个例子，如：

response.xpath(’//div[@class=“demo”]/div/h3/text()’).extract()

上面的命令意思为，调用response的xpath()方法，匹配拥有“class=“demo””的div块下的div/h3，extract()方法用于提取节点的内容。

---

上述该介绍的已经介绍了，该准备的已经准备了。接下来，用shell调试的整个流程如下。

1、使用命令打开scrapy来开启shell调试

命令：

scrapy shell https://me.csdn.net/blog/qq_44503987

注：https://me.csdn.net/blog/qq_44503987为我的博客主页

response 200，表示服务器接收用户请求。

2、利用xpath爬取信息

一种快速获取xpath的方法，请点击此处。
现在利用shell调节器，获取我的博客主页第一条博客的名称。

输入如下命令：

response.xpath(’//div[@class=“me_wrap clearfix”]/div[1]/div[4]/dl[1]/dt/h3/a/text()’).extract()
注：中括号中的数字代表自己隶属当前父元素下的第几个子元素。例如demo/div[3]表示，提取demo下div子元素的第三个。
爬取文档信息如下：

现在你已经掌握了用xpath爬取信息的方法，如果你想更详细的了解response的其他用法，请点击此处：scrapy之response

---

总结

爬取信息，不一定要用response.xpath(‘str(xpath)’)方法，也可以用response.css()方法，但是目前来说，response.xpath(‘str(xpath)’)是我所知中，最准确，匹配能力也是较强的一种。我查看过response.css的源代码，里面最终也是把CSS转换成xpath来执行的。
欲知后事如何，且听下回分解。