编写自动爬取网页的爬虫

最新推荐文章于 2023-10-19 14:00:00 发布

三名狂客

最新推荐文章于 2023-10-19 14:00:00 发布

阅读量2.8k

点赞数 2

分类专栏： python爬虫文章标签：爬虫自动爬虫

本文链接：https://blog.csdn.net/zuochao_2013/article/details/76166012

版权

本文介绍了如何编写自动爬取网页的爬虫，包括item的定义和pipeline的设置，旨在实现高效的数据抓取。

摘要由CSDN通过智能技术生成

一、item的编写

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class AutopjtItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
#定义好name用来存储商品名
    name=scrapy.Field()
#定义好price用来存储商品价格
    price=scrapy.Field()
#定义好link用来存储商品链接
    link=scrapy.Field()
#定义好comnum用来存储商品评论数
    comnum=scrapy.Field()

二、pipeline的编写

# -*- coding: utf-8 -*-
import codecs
import json
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

class AutopjtPipeline(object):
    def __init__(self):
    #打开mydata.json文件
        self.file = codecs.open("F:/mydata3.json", "wb", encoding="utf-8")

    def process_item(self, item, spider):
        # item=dict(item)
        # print(len(item["name"]))
        # 每一页中包含多个商品信息，所以可以通过循环，每一次处理一个商品
        #