python爬取京东手机参数_python爬虫——分页爬取京东商城商品信息（手机为例）...

1、最近刚开始学习python   写了个爬虫练习，感觉主要是得会用F12查询网站结构代码。还涉及到反爬虫，每个网站都不一样，拿到的解析出的json数据格式也不同。得有些Web知识的基础才行。

https://www.bilibili.com/video/av54287470/  视频讲解

2、上代码

import urllib.request

import time

# xpath lxml第三方包 将html转化为树形结构

from lxml import etree

# re系统包 正则

import re

"""

爬取数据方式： 1、通过网页源代码(数据绑定在html标签中)

根据目标网址绑定数据的方式决定 2、通过接口获取json(json绑定)

京东商品信息 获取目标url(开发者模式) 获取网页源代码抓取数据

搜索页面、商品子页面{获取搜索页面的所有商品 class="gl-i-wrap"，所有商品的子页面【二次爬取】}

发送url获取响应数据 反爬

进行数据处理

"""

# 分页抓取手机商品信息

def jdPhone_spider(url,beginPage,endPage):

for page in range(beginPage,endPage+1):

#京东页码奇数递增处理 反爬

pn = page*2 -1

print("正在抓取第"+str(page)+"页")

fullurl = url+"&page="+