**问题介绍:**京东商品的部分信息是具备一定的反爬措施的,例如价格、评论相关信息的那个。那么我们要如何获得这部分数据呢?
**问题分析:**对于这部分数据,分析相关请求内容或json,能够找到对应的数据是存在json中的,我们只需要获得将json请求出来,再通过一些简单步骤即可获取json数据。当然是需要使用json库的。
解决步骤:
1.找到数据所在json
令书博客,具体可查看:京东反爬措施导致无法爬取商品价格和评论等信息解决方法
2.获取json数据
获取价格数据:
import requests
from lxml import etree
import json
import random
proxy_list = [
{"http" or "https": "112.115.57.20:3128"},
{"http" or "https": '121.41.171.223:3128'},
]
user_agent = [
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
"Mozilla/4.0 (comp