对于京东图书名称、价格等多元素的爬取，并带有采集翻页的功能

结合老师的课件以及网上总结的资料，做一些简单的总结：

1.首先需要导入包  from lxml import html ,import requests,import json,然后利用xpath找到书价格的id（找的方式感觉有点凑的样子，多是参考老师给的课件的形式），通过xpath找到书名、价格等元素的信息，此处要仔尝试几次，看看能否达到迅速找到的要求。

2.然后要将需要采集的网页通过requests请求get到，然后用html中的html.fromstring()将page.content解析为tree，利用tree将xapth解析为输出结果。

3.将此问题分解为两大部分，第一是对下一页的采集，然后是对每一页的内容的解析，由于京东的图书价格是利用Ajax方式加载的，所以需要利用开发者模式，找出前边不变的量，然后将id加在后面

 

转载于:https://www.cnblogs.com/Eumendies/p/7841189.html