scrapy爬虫-TB模拟登陆抓取数据

（我用的谷歌浏览器，在tb登录页面，按F12键进入检查模式，点击Network,勾选Preserve log,点击登陆，这样就记录下了登陆需要提交的所有参数）

-- coding: utf-8 --

import scrapy
import re
import json
import time
from tao_bao_data.items import TaoBaoDataItem

class TaobaodataSpider(scrapy.Spider):
# 爬虫名
name = ‘TaoBaoData’
# 爬虫允许的域名
allowed_domains = [“taobao.com”, “passport.alibaba.com”]
# 爬虫进行模拟登录的url
login_url = ‘https://login.taobao.com/member/login.jhtml’
# 爬虫要抓取数据的url
crawl_urls = ‘https://buyertrade.taobao.com/trade/itemlist/list_bought_items.htm’

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Connection': 'Keep-Alive'
}

# 模拟登录需要提交的用户名
username = '（此处是自己的淘宝用户名或者店铺名）'
# 构建模拟登录需要提交的表单数据
post_data = {
    'TPL_username': username,
    'TPL_password': '',
    'ncoSig': '',
    'ncoSessionid': '',
    'ncoToken': 'd801d3c69349',
    'slideCodeShow': 'false',
    'useMobile': 'false',
    'lang': 'zh_CN',
    'loginsite': '0',
    'newlogin': '0',
    'TPL_redirect_url': 'http://buyertra