Scrapy入门、爬取单个网页

创建scrapy的方法，上个博客已经写了，这次写一下如何使用scrapy爬取单个网页，这次爬取的网页时百思不得姐。首先scrapy已经获取了response，通过downloader传递给了spiders，我们就直接解析返回的response就行，需要注意的是response的数据类型：
<Selector xpath='//div[@class="j-r-list"]/ul/li' data='<li>\n\n \n<!--用...'>
需要用到extract或者extract_first方法获取数据。
还有一点就是返回数据使用yield，使用yeild的好处就是按照对item的处理速度来爬取数据。

在pipelines中写入数据存储的方式，其中的方法和init方法一样，自动调用：

加入LOG_LEVEL = "WARNING"打印可以不显示多余的详细信息。

写完pipelines代码要机得在setting中开启ITEM_PIPELINES，其中可以开启多个管道：

最后是在pycharm中执行scrapy的两种写法和运行结果：