python按分类爬取电子商城商品信息

 不同网站解析不同，下面爬取的是电子商城是：https://www.asos.de/damen 一家德国的电子商城

1.爬取主页https://www.asos.de/damen ，获得导航栏全部的分类链接

2.遍历分类链接，爬取一个分类链接下全部商品，包括分页的商品信息

3.将一个分类链接下的全部商品保存到excel表格，同时记录已爬取的分类链接

4.爬虫结束

知识点：

1.requests请求网页

2.基于BeautifulSoup的网页解析，本脚本主要用了 CSS选择器（https://blog.csdn.net/lzz781699880/article/details/81209038）

3.正则表达式

4.xlwt和文件读写操作

import  requests,random,os,xlwt,math,time,re,pandas as pd
from bs4 import BeautifulSoup



#获得静态的界面
def get_static_html(site_url):
    print('开始加载', site_url, '页面')
    headers_list = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0 ',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2',
        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    ]
    headers = {
        'user-agent': headers_list[random.randint(0,len(headers_list))-1],
        'Connection': 'keep - alive'
    }
    try:
        resp = requests.get(sit