爬虫项目：京东商品数据爬取

最新推荐文章于 2025-02-18 16:37:44 发布

OnMy22

最新推荐文章于 2025-02-18 16:37:44 发布

阅读量2w

点赞数

分类专栏：项目

本文链接：https://blog.csdn.net/weixin_38654336/article/details/79747544

版权

本文介绍了一个Python爬虫项目，用于抓取京东商品数据并存储到MySQL数据库中。过程中遇到了MySQL的安装、数据抓包、中文乱码问题及京东的验证码挑战。解决方案包括参考其他博文进行MySQL安装，通过抓包获取price和comment字段，解决navicat中文乱码问题，以及后续应对验证码的策略。

摘要由CSDN通过智能技术生成

spider代码：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from jingdong.items import JingdongItem
import re
import urllib

class JdSpider(scrapy.Spider):
    name = 'jd'
    allowed_domains = ['jd.com']
    start_urls = ['http://jd.com/']

    def parse(self, response):
        key = "笔记本"
        search_url = "https://search.jd.com/Search?keyword=" + key + "&enc=utf-8&wq=" + key
        for i in range(1,101):
            page_url = search_url + "&page=" + str(i*2-1)
            yield Request(url=page_url,callback=self.next)
    def next(self,response):
        id = response.xpath('//ul[@class="gl-warp clearfix"]/li/@data-sku').extract()
        #print(id)
        for j in range(len(id)):
            ture_url = "https://item.jd.com/" +