dd爬虫学习

终端中输入 scrapy startproject name,和 scrapy genspider -t basic filename dominename

编译器中打开文件，在items中输入对应 name = scrapy.Field()

设定爬虫文件中，导入所需要的库from ***.items import ***Item

设定item = ***Item()，之后一次设定所对应的title.comment.link等信息，再通过response.xpath("").extract()的方式对源代码中所需内容进行抓取。

<a title=" Python基础教程（第3版）" ddclick="act=normalResult_picture&pos=25218035_3_1_q" class="pic" name="itemlist-picture" dd_name="单品图片" href="http://product.dangdang.com/25218035.html" target="_blank" >

抓取title信息时候，定位选择在class="pic"上，搜索得页面60是信息，与实际信息相对。因此利用

response.xpath('//a[@class="pic"]/text()'）.extract()进行抓取。comment以及link同类。

之后yied item，向item返回数据。

http://search.dangdang.com/?key=python&act=input&sort_type=sort_sale_amt_desc&page_index=5

通过上述发现网页构造规律，提取url

通过yield Request返回，再通过回调函数调给下一次请求。

在setting中打开pipelines的设定，再更改pipelines.py

for i in range(0,len(item["title"])：

    title = item["title"][i]

以此类推，赋予comment，link相对应的值。

在终端中，通过scrapy crawl进行操作

得到结果