爬取京东笔记本电脑销量榜每件商品详情页url，并存入云服务器中的mysql库

一、目的分析

1、京东搜索笔记本电脑字段，按销量由高到低排序，该网页作为开始url，爬取100页数据，共计 5 (个) *12（行）*100（页）= 6000（条）数据。

2、数据为各个项目详情页中的数据，即下图中的href，可先爬取所有的href，后续再从各链接中爬取所需数据。

二、爬取页面商品所有详情页链接

即该href链接

出现的问题：京东一页数据为30项，但分半加载，即先加载15项，下滑加载后半部分，导致爬取结果仅有15项。

解决方法：爬虫爬取动态网页，滑动加载项无法爬取问题

1、爬取href链接

这里使用了selenium模块加载动态网页
观察各页url：
第一页：https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&click=0
第二页：https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&page=3&s=61&click=0
第三页：