爬取京东具体商品页面_京东爬虫、数据分析、报表 （1）

最近马上到618了，目前用的是1080的显示器，想换个2k显示器，就去看了下京东的2k显示器，顺便整合了下爬虫，数据分析，报表这些知识，进行了结合。

一 界面分析

先去京东，搜索显示器，选择2k，看到总共大约1900+个商品

京东对爬虫还算比较友好。往下拖动页面发现是滑动加载的，

第一次进来只展示了30个商品，剩余30个需要下拉界面才能加载。

那么，可以考虑用两个办法：

• selenium 简单粗暴
• 找相关接口

京东这个接口比较简单，我们直接找接口就行，浏览器F12，点击网络，点击XHR，然后鼠标在商品页面下滑，发现XHR出现了一条新的数据，点开这条数据进行，发现就是加载的商品信息。

然后去看请求头，

请求url，经测试可以缩减为

https://search.jd.com/s_new.php?keyword=显示器&wq=显示器&ev=3613_104528%5E&page=1&s=30

page为页数，s为每页加载数量

分析出接口了，现在要看抓什么信息了

如上图，是一个商品的基本信息，我们可以抓取的有：

• 价