结合老师的课件以及网上总结的资料,做一些简单的总结:
1.首先需要导入包 from lxml import html ,import requests,import json,然后利用xpath找到书价格的id(找的方式感觉有点凑的样子,多是参考老师给的课件的形式),通过xpath找到书名、价格等元素的信息,此处要仔尝试几次,看看能否达到迅速找到的要求。
2.然后要将需要采集的网页通过requests请求get到,然后用html中的html.fromstring()将page.content解析为tree,利用tree将xapth解析为输出结果。
3.将此问题分解为两大部分,第一是对下一页的采集,然后是对每一页的内容的解析,由于京东的图书价格是利用Ajax方式加载的,所以需要利用开发者模式,找出前边不变的量,然后将id加在后面