python爬虫爬商品库存_利用Python爬虫爬取指定天猫店铺全店商品信息

本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫，爬虫运行只需要输入相应店铺的域名名称即可，信息将以csv表格的形式保存，可以单店爬取也可以增加一个循环进行同时爬取。

源码展示

首先还是完整代码展示，后面会分解每个函数的意义。

# -*- coding: utf-8 -*-

import requests

import json

import csv

import random

import re

from datetime import datetime

import time

class TM_producs(object):

def __init__(self,storename):

self.storename = storename

self.url = 'https://{}.m.tmall.com'.format(storename)

self.headers = {

"user-agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 "

"(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"

}

datenum = datetime.now().strftime('%Y%m%d%H%M')

self.filename = '{}_{}.csv'.format(self.storename, datenum)

self.get_file()

def get_file(self):

'''创建一个含有标题的表格'''

title = ['item_id','price','quantity','sold','title','totalSoldQuantity','url','img']

with open(self.filename,'w',newline='') as f:

writer = csv.DictWriter(f,fieldnames=title)

writer.writeheader()

return

def get_totalpage(self):

'''提取总页码数'''

num