scrapy爬取苏宁所有图书

最新推荐文章于 2021-05-16 01:25:55 发布
最新推荐文章于 2021-05-16 01:25:55 发布
阅读量2k 收藏 5
点赞数 2
分类专栏： 爬虫 python 文章标签： python book scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaodsadwwq/article/details/93796916
版权

苏宁图书 https://book.suning.com/

目标: 爬取苏宁图书下所有书本的系信息
  • 爬取每个大分类(文学艺术)下的中间分类(小说)下的每个小分类(中国当代小说)的书本信息,并且进行翻页请求
  • 大分类名字
  • 中间分类名字
  • 小分类名字
  • 小分类链接
  • 图书标题
  • 书店名字
  • 书的链接
  • 书的价格
  • 翻页请求
  • 将数据保存到mongodb数据库中

代码如下(scrapy):

# -*- coding: utf-8 -*-
import re
from collections import OrderedDict
from copy import deepcopy
from pprint import pprint

import scrapy


class MybookSpider(scrapy.Spider):
    name = 'mybook'
    allowed_domains = ['suning.com']
    start_urls = ['https://book.suning.com/']

    def parse(self, response):
        type1_lists = response.xpath("/html/body/div[6]/div/div[1]/div[1]/div[1]/div[@class='menu-item']")
        print(len(type1_lists))
        # 大分类遍历
        for type1_list in type1_lists[:2]:
            item = {}
            # item = OrderedDict(item)
            item["type1_book"] = type1_list.xpath('dl/dt/h3/a/text()').extract_first()
            print(item["type1_book"])
            href = type1_list.xpath('dl/dt/h3/a/@href').extract_first()
            # print(href)
            # # print(item["type1_book"])
            type2_lists = type1_list.xpath('dl/dd/a')
            if not type2_lists:
                yield scrapy.Request(
                    href,
                    callback=self.parse_detail,
                    meta={"item": deepcopy(item)}
                )
            # # 中间分类遍历
            for type2_list in type2_lists[:2]:
                item['type2_book'] = type2_list.xpath('text()').extract_first()
                item['type2_bookurl'] = type2_list.xpath('@href').extract_first()
                print(item['type2_book'])
                # if item['type2_bookurl'] :
                # print(item['type2_bookurl']+"ss")
                yield scrapy.Request(
                    item['type2_bookurl'],
                    callback=self.parse_detail,
                    meta={"item":deepcopy(item)}
                )


    def parse_detail(self,response):
        item = response.meta["item"]
        # 翻页标记
        # item["pagenum"] = 0
        # print(response.xpath('//*[@id="search-path"]/dl/dt/a/text()').extract_first())
        type3_lists = response.xpath('//*[@id="search-opt"]/div/dl[2]/dd/div[1]/div/a')
        #如果没有小分类  则直接进行中间分类书籍信息爬取
        if not type3_lists:
            print(response.url)
            item["type3_book"] = item["type2_book"]
            item["type3_bookurl"] = item["type2_bookurl"]
            yield scrapy.Request(
                response.url,
                callback=self.noType3_book_info,
                meta={"item":deepcopy(item)},
                dont_filter=True
            )
        else:
            #有小分类 则进行小分类遍历 爬取前面两个
            for type3_list in type3_lists[:2]:
                item['type3_book'] = type3_list.xpath("text()").extract_first()
                item['type3_bookurl']= "https:"+ type3_list.xpath("@href").extract_first()
                # print("https:"+item['type3_bookurl'])
                # url = "https://list.suning.com/1-503099-0-0-0-0-0-0-0-4.html"
                yield scrapy.Request(
                    item['type3_bookurl'],
                    callback=self.book_info,
                    meta={"item":deepcopy(item)}
                )
#无小分类 书的相关信息   因为有小分类和无小分类网页body不一样
    def noType3_book_info(self,response):
        item = response.meta['item']
        book_lists = response.xpath('//*[@id="product-list"]/ul/li')
        #在无小分类中  少儿的body又和又小分类的body一样  所以在请求并给book_info
        if not book_lists:
            yield scrapy.Request(
                    response.url,
                    callback=self.book_info,
                    meta={"item":deepcopy(item)},
                    dont_filter=True#
                )
            # print("ss")
        # if book_lists:
        #     book_lists = response.xpath('//*[@id="product-list"]/ul/li')
        # 后面三十本
        temp_url = "https://list.suning.com/emall/showProductList.do?ci={}&pg=03&cp={}&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0"
        # print(len(book_lists))
        # 前面三十本书的遍历
        if book_lists:
            # print("sss")
            for book_list in book_lists:
                item["book_url"] = "https:" + book_list.xpath('div/div/div[1]/div/a/@href').extract_first()
                item["book_name"] = book_list.xpath('div/div/div[2]/div[2]/a/text()').extract_first()
                item["shopname"] = book_list.xpath('div/div/div[2]/div[4]/a/text()').extract_first()
                item['book_img'] = "https:" + book_list.xpath('div/div/div[1]/div/a/img/@src').extract_first()
                yield scrapy.Request(
                    item["book_url"],
                    callback=self.book_detail,
                    meta={"item": deepcopy(item)}

                )
            current_page = int(re.findall("param.currentPage = \"(.*?)\";", response.body.decode())[0])

            #后面90本书请求   分三次请求
            book_listh = "https://search.suning.com/emall/searchV1Product.do?keyword=%E6%95%A3%E6%96%87%E9%9A%8F%E7%AC%94&ci=0&pg=01&cp={}&il=1&st=0&iy=0&isNoResult=0&n=1&sesab=ACAABAAB&id=IDENTIFYING&cc=701&paging={}&sub=0&jzq=33003"
            for i in range(1,4):
                href = book_listh.format(current_page,i)
                yield scrapy.Request(
                    href,
                    callback=self.noType3_bookinfo2,
                    meta={"item": deepcopy(item)}
                )

            # 下一页 翻页

            page_count = int(re.findall("param.pageNumbers = \"(.*?)\";", response.body.decode())[0])
            ci = item["type2_bookurl"].split("/")[-2]

            next_u = "https://search.suning.com//{}/&iy=0&isNoResult=0&cp={}"
            if current_page < page_count - 1 and current_page < 5:
                print(ci)
                # print("next")
                current_page += 1
                # item["pagenum"] = current_page
                next_url = next_u.format(ci, current_page)
                # print(next_url)
                yield scrapy.Request(
                    next_url,
                    callback=self.noType3_book_info,
                    meta={"item": deepcopy(item)}
                )


#有小分类 书的相关信息
    def book_info(self,response):
        item = response.meta['item']
        # print(item)
        print("book_info")
        #通过小分类url请求
        book_lists = response.xpath('//*[@id="filter-results"]/ul/li')
        # if book_lists:
        #     book_lists = response.xpath('//*[@id="product-list"]/ul/li')
        #后面三十本
        temp_url = "https://list.suning.com/emall/showProductList.do?ci={}&pg=03&cp={}&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0"
        # print(len(book_lists))
        #前面三十本书的遍历
        for book_list in book_lists:

            item["book_url"] ="https:"+book_list.xpath('div/div/div/div[1]/div/a/@href').extract_first()
            item["book_name"]= book_list.xpath('div/div/div/div[2]/p[2]/a/text()').extract_first()
            item["shopname"] = book_list.xpath('div/div/div/div[2]/p[4]/a/text()').extract_first()
            item['book_img'] ="https:"+book_list.xpath('div/div/div/div[1]/div/a/img/@src2').extract_first()
            yield scrapy.Request(
                item["book_url"],
                callback=self.book_detail,
                meta={"item": deepcopy(item)}

            )
            # print(item["book_url"])
        # pprint(item)
        #当前页数
        current_page = int(re.findall("param.currentPage = \"(.*?)\";", response.body.decode())[0])
        #后面三十页书的请求
        ci = item["type3_bookurl"].split("-")[1]
        next_booklist = temp_url.format(ci,current_page)
        yield scrapy.Request(
            next_booklist,
            callback=self.book_info2,
            meta={"item": deepcopy(item)}
        )
        # print(next_booklist)



        #下一页 翻页
        page_count = int(re.findall("param.pageNumbers = \"(.*?)\";", response.body.decode())[0])


        next_u="https://list.suning.com/1-{}-{}.html#search-path-box"
        #获取图书列表 前六页的信息
        if current_page < page_count-1 and current_page < 5:
            current_page+=1
            # item["pagenum"] = current_page
            next_url = next_u.format(ci,current_page)
            print(next_url)
            yield scrapy.Request(
                next_url,
                callback=self.book_info,
                meta={"item": deepcopy(item)}
            )

    def noType3_bookinfo2(self,response):
        if response.xpath('/html/body/li'):
            # print("qqqqq")
            item = response.meta['item']
            # print(item)

            book_lists = response.xpath('/html/body/li')
            # 后面三十页
            # temp_url = "https://list.suning.com/emall/showProductList.do?ci={}&pg=03&cp={}&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0"
            print("noType3_bookinfo2"+str(len(book_lists)))
            for book_list in book_lists:
                item["book_url"] = "https:" + book_list.xpath('div/div/div[1]/div/a/@href').extract_first()
                item["book_name"] = book_list.xpath('div/div/div[2]/div[2]/a/text()').extract_first()
                item["shopname"] = book_list.xpath('div/div/div[2]/div[4]/a/text()').extract_first()
                item['book_img'] = "https:" + book_list.xpath('div/div/div[1]/div/a/img/@src').extract_first()
                yield scrapy.Request(
                    item["book_url"],
                    callback=self.book_detail,
                    meta={"item": deepcopy(item)}

                )


#获取后面三十页的书信息
    def book_info2(self,response):
        if response.xpath('/html/body/li'):
            # print("qqqqq")
            item = response.meta['item']
            # print(item)

            book_lists = response.xpath('/html/body/li')
            # 后面三十页
            # temp_url = "https://list.suning.com/emall/showProductList.do?ci={}&pg=03&cp={}&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0"
            # print(len(book_lists))
            for book_list in book_lists:
                item["book_url"] = "https:" + book_list.xpath('div/div/div/div[1]/div/a/@href').extract_first()
                item["book_name"] = book_list.xpath('div/div/div/div[2]/p[2]/a/text()').extract_first()
                item["shopname"] = book_list.xpath('div/div/div/div[2]/p[4]/a/text()').extract_first()
                item['book_img'] = "https:" + book_list.xpath('div/div/div/div[1]/div/a/img/@src2').extract_first()
                yield scrapy.Request(
                    item["book_url"],
                    callback=self.book_detail,
                    meta={"item": deepcopy(item)}

                )
                # print(item["book_url"])
            # pprint(item)

#图书详情页
    def book_detail(self,response):
        item = response.meta['item']

            #只能通过抓包获取url   并对比多个url 分析网址的不同
        price_temp_url = "https://pas.suning.com/nspcsale_0_0000000{}_000000000{}_{}_140_701_7010101_502282_1000186_9186_11475_Z001___{}_{}___.html?callback=pcData&_=1559546689850"
        p1 = response.url.split("/")[-1].split(".")[0]
        p3 = response.url.split("/")[-2]
        p4 = re.findall(r'"catenIds":"(.*?)"', response.body.decode())[0]
        p5 = re.findall(r'"weight":"(.*?)"', response.body.decode())[0]
        price_temp_url = price_temp_url.format(p1, p1, p3, p4, p5)
        # print(price_temp_url2 )
        yield scrapy.Request(
            price_temp_url,
            callback=self.book_price,
            meta={"item": deepcopy(item)}
        )


#第一种价格url https://pas.suning.com/nspcsale_0_0000000{}_000000000{}_{}_140_701_7010101_502282_1000186_9186_11475_Z001___{}_{}___.html?callback=pcData&_=1559546689850
    def book_price(self, response):
        item = response.meta['item']

        try:
            price = re.findall(r'"netPrice":"(.*?)"', response.body.decode())[0]
            item["book_price"] = price

        except:
        # 只能通过抓包获取url   并对比多个url 分析网址的不同  有两种情况
        #     print("LLLLL"+re.sub("000000000","0000000",response.url))
            price_temp_url2=re.sub("000000000","0000000",response.url)
            # print(price_temp_url2 )
            yield scrapy.Request(
                price_temp_url2,
                callback=self.book_price2,
                meta={"item": deepcopy(item)}
            )
        else:
            # print(item)
            yield item

#第二种url https://pas.suning.com/nspcsale_0_0000000{}_0000000{}_{}_140_701_7010101_502282_1000186_9186_11475_Z001___{}_{}___.html?callback=pcData&_=1559546689850
    def book_price2(self,response):
        item = response.meta['item']

        item["book_price"] = re.findall('"netPrice":"(.*?)"',response.body.decode())[0]

            # item['book_price'] = None
        # print(item)
        yield  item



#后面请求图书的url分析
# https://list.suning.com/emall/showProductList.do?ci=502689&pg=03&cp=0&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0
# https://list.suning.com/emall/showProductList.do?ci=502689&pg=03&cp=1&il=0&iy=0&adNumber=0&n=1&ch=4&prune=0&sesab=ACBAAB&id=IDENTIFYING&cc=701&paging=1&sub=0

#通过抓包获取价格的url分析
# https://pas.suning.com/nspcsale_0_000000011185244882_000000011185244882_0070858148_140_701_7010101_502282_1000186_9186_11475_Z001___R9011209_0.01___.html?callback=pcData&_=1560741070758
# https://pas.suning.com/nspcsale_0_000000010955997512_000000010955997512_0070727362_140_701_7010101_502282_1000186_9186_11475_Z001___R9011209_0.01___.html?callback=pcData&_=1560741256302
# https://pas.suning.com/nspcsale_0_000000011035329752_000000011035329752_0070718557_140_701_7010101_502282_1000186_9186_11475_Z001___R9011215_0.01___.html?callback=pcData&_=1560741476523
# https://pas.suning.com/nspcsale_0_000000011028057652_000000011028057652_0070683977_140_701_7010101_502282_1000186_9186_11475_Z001___R9011215_1.0___.html?callback=pcData&_=1560741579911

git地址

如要代码优化或者其他问题可以联系本人邮箱：zh15270924273@163.com

孔丘闻言
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【爬虫实战】利用scrapy框架爬取豆瓣图书信息
丁鱼教育官方博客
07-03 3560
一、前言 scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler（调度器），Downloader（下载器），Spider（爬虫），Pipeline（管道）等爬虫“组件”来完成。多线程的运行框架使得爬虫的效率大大提升，让爬虫程序变得更快，更强。基于以上特点，本文将以爬取豆瓣图书信息为例，简要阐述基于scrapy框架下的爬虫实现流程。 二、爬虫流程以及代码实现 （一）分析需要爬取的
Python 爬虫学习笔记（十(2)）scrapy爬取图书电商实战详解
湫兮如风i的博客
03-22 1709
scrapy框架爬取图书电商实战详解，详细步骤
苏宁图书爬虫第一版
weixin_42140638的博客
03-11 570
最近一直在忙于工作，当我知道这些都是借口，毕竟某些博主大佬深夜还在更新订阅号更新微博，或许这就是自制力的差距吧。不啰嗦了，今天要写的主要是一篇关于如何爬取“苏宁图书”，当然只是半成品，但是大部分问题都已经解决，在这里记录一下发生过的问题，以免再次出现 下面切入正题，这个爬虫我主要是想练一下Scrapy框架，因为是这两天才开始自学的，断断续续，后面学前面忘，很是苦恼 主要用到的框架是Scrapy...
苏宁图书爬虫
12-14
苏宁图书项目，爬取图书图片，图书链接，图书书名，出版社信息，图书价格等数据
Python集成scrapy和selenium爬取苏宁图书
nickyfox的博客
07-19 458
Python集成scrapy和selenium爬取苏宁图书 环境：python3.6 pycharm2018.1.3 前言 本人渣渣一枚，为爬虫苏宁图书获取数据，将获得的数据保存在MangoDB中，现在一步步地把步骤写出来。 步骤–分析苏宁图书 因为我是想直接拿取图书列表页的信息，所以这里就不从首页开始分析。首先先打开列表页，我发现列表页有60条数据，但是我点击查看网页源代码中只有30条数据...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
scrapy爬取疫情数据
06-04
scrapy爬取百度疫情数据平台 数据存入数据库，需要首先配置数据库， scrapy startproject yqsj 命令行执行代码文件 项目是国内国外疫情数据，爬取执行时间长，需要耐心等待
基于scrapy爬取51job爬虫系统源码.zip
03-05
基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job...
基于python框架Scrapy爬取自己的博客内容过程详解
09-18
主要介绍了基于python框架Scrapy爬取自己的博客内容过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
京东书城爬虫
04-29
京东书城爬虫！！毕设可以参考
Selenium:requests+Selenum爬取京东所有图书类的数据
08-06 3580
这篇文章，我们将通过 selenium 模拟用户使用浏览器的行为，爬取京东商品信息 得到的url:https://search.jd.com/Search?keyword=%E4%B9%A6&enc=utf-8&pvid=1daad564d3544d62995e3417d3711464 开始分析网页 博主是通过所有的品牌获取得到所有的书本信息 首先就要通过上面的连接进行将所有的品牌获取出来 分析:按F12 由此可见: 都是一一对应的 每一个分类就一个li标签 有很多个li标签
python爬虫练习之爬取豆瓣读书所有标签下的书籍信息
STAR_LORD
07-23 6761
第一步，爬取所有图书标签及分类 到达图书标签页，分类浏览，第一步需要爬取所有分类及其分类下的所有标签 并用dict存储
Jsoup爬虫案例-苏宁易购图片下载
weixin_42117006的博客
06-17 613
Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 jsoup 的主要功能如下： 1. 从一个 URL，文件或字符串中解析 HTML； 2. 使用 DOM 或 CSS 选择器来查找、取出数据； 3. 可操作 HTML 元素、属性、文...
python爬虫 亲手爬取图书网站
u012674854的博客
01-03 2998
这个爬虫只是一个简单的爬虫，单线程并且任务的管理等 一 爬虫数据持久化方式 使用的是mysql数据库。需要设备上先安装mysql数据库，python中使用mysql 数据库的方法是使用pymysql库来操作。 例： import pymysql conn = pymysql.connect('127.0.0.1',user="root",passwd="root",port=...
scrapy基本使用--爬取图书首页
weixin_45026839的博客
04-22 242
务必安装 pip install scrapy -i + 镜像源 使用scrpay创建爬虫项目（终端创建）： 1.创建项目：scrapy startproject BOOK 2.进入项目：cd BOOK 3.创建爬虫：scrapy genspider book jd.com 4.运行爬虫：scrapy crawl book 打开pycharm 找到你创建的项目 oppen 在settings...
Scrapy案例爬取图书网信息
Narutolxy的博客
07-08 355
创建项目 scrapy startproject book_info 创建爬虫 cd book_info scrapy genspider cl_book suning.com 爬虫文件编写cl_book.py # -*- coding: utf-8 -*- import scrapy import re from ..items import BookInfoItem from bs4 import BeautifulSoup # 为避免数据错乱，引用深拷贝 from copy imp
基于python的-爬取苏宁易购商品文本信息
hs947463167的博客
01-26 2741
from selenium import webdriver import time class SuNing(object): def __init__(self, num): self.num = num def start_suning(self): driver = webdriver.Firefox() driver.g
scrapy 爬取苏宁图书
qq_43369592的博客
05-16 335
一.项目要求 从每个大分类中获取里面的小分类 从小分类里面获取图书列表，并进行翻页获取 从图书列表里面获取每本书里面的详细信息 二. 需要用到的库 scrapy（整个爬虫的实现） re（需要用正则匹配需要的数据） copy（需要用到deepcopy） 三. 开撸 创建爬虫项目及爬虫 scrapy startproject suning scrapy genspider book suning.com 找到初始url地址 start_urls = ['https://book.suning.
scrapy爬取当当图书
最新发布
06-05
Scrapy是一个强大的Python爬虫框架，可以帮助我们快速高效地抓取网站...在命令行中执行`scrapy genspider books book.dangdang.com`即可创建一个名为books的Spider，爬取当当网站上的图书信息。 3. 编写Spider代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值