[Python爬虫]使用Scrapy框架爬取淘宝

说明：

这里我们只爬取了淘宝的列表页和宝贝的链接，名称，价格，销量，图片地址。如果有需求爬取内容页，自行添加

启动文件mian.py

taobao_wang是我自己建的执行文件名

from scrapy.cmdline import execute

execute('scrapy crawl taobao_wang'.split())

在spiders下的执行文件taobao_wang.py(自己建的)

# -*- coding: utf-8 -*-
import scrapy,re
from ..piaot import *       #导包自定义
from ..items import taobao_Mysql        #导自定义的实例化类

class TaobaoWangSpider(scrapy.Spider):
    name = 'taobao_wang'
    allowed_domains = ['taobao.com']
    # start_urls = ['http://taobao.com/']

    # 我们使用这个函数作为初始的执行函数
    def start_requests(self):

        a=input('请输入查询内容：')
        b=int(input('需要多少页：'))

        # 将name值转成url编码
        name = parse.quote(a)

        # 循环页数
        for i in range(b):