爬取京东商品及价格

本文介绍了如何爬取京东商品的价格信息,并将其存储为CSV文件。通过观察网络请求,找出动态加载页面的商品数据请求规律,利用该规律实现批量抓取。目前实现了静态30页的数据抓取,以及特定参数下的动态页面数据抓取。
摘要由CSDN通过智能技术生成

京东商品及价格存入csv文本,只有静态的30个逐页爬,动态的s=30,87,141,206,   n=2,4,6,8。

可以再下面在写个函数直接存到文本里,就是这个参数:

把图片往右拖,network,里的XHR的链接规则:

代码:

import requests
from urllib.parse import urlencode
from lxml import etree
import csv

def request(kw,page,s):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
               "Cookie":"__jdu=965081754; shshshfpa=d8651c76-9914-ed87-bb05-6f3d29a46061-1543231749; shshshfpb=0a7cbd16444b16711e44638105fd14f758419bbc053620b7f5bfbd9064; qrsc=3; __jdc=122270672; __jdv=122270672|direct|-|none|-|1547172752163; PCSYCityID=698; xtest=8541.cf6b6759; ipLoc-djd=1-72-2799-0; rkv=V0800; user-key=9f422950-
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值