matlab保存数据到excel_Python爬取新版CRMEB小程序商城后台订单数据，保存为excel

Python爬虫学习

安装依赖库

pip3 install requests, openpyxl

爬取思路

1. 后台ingdan的接口地址是：/admin/order.StoreOrder/order_list.html
2. 登陆之后我们可以获取到header信息，利用requests.get方式获取接口数据，并将爬取的response数据返回为json数据，利用字典的get方式获取我们需要的信息。
3. 将我们需要的订单、支付时间等信息逐项读取并返回为一个列表格式
4. 创建一个空白的excel文档
5. excel第一行设置为每一列的标题
6. 每个标题对应的列存入对应的数据

import jsonimport reimport requestsfrom openpyxl import Workbookdef load_json():    """ 读取json中的data信息 """    resp = requests.get(            'http://xxx.com/admin/order.StoreOrder/order_list.html?',            params=params,            headers=headers        ).content.decode('utf-8')    datas = json.loads(resp).get('data', '不存在')    return datasdef read_data(dict_name):    """     dict_name对应的每个值，读取订单信息        order_id - 订单ID | pay_price - 实际支付 | pay_type_name - 支付类型 | pink_name - 订单类型        mark - 用户备注(邮箱)| total_num - 订单数量 | add_time - 支付时间 | _info - 商品名称(返回一个列表)    """    datas = load_json()    return [data[dict_name] for data in datas]    def cell_range(wb):    """ 创建一个空白表格 """    ws = wb.active    return wsdef save_xlsx(ws, title, sheets, column, start=2):    """ 设置首行标题及标题对应的值 """    ws[column+str(start-1)] = title    for i in list(range(start, len(sheets)+start)):        ws[column+str(i)].value = sheets[i-start]

函数使用文档

• load_json()爬取接口数据并返回data的json格式数据
• read_data()获取每个数据的列表
• cell_range()获取excel的默认表格，并返回
• save_xlsx(ws, title, sheets, column, start=2)ws: 空白的表格title: 设置第一行对应数据的标题sheets: 每个数据的列表column: 每一列对应的大写字母如(A,B,C,D,E)

开始爬取并保存，需要获取更多数据，请参考CRMEB的接口文档

if __name__ == "__main__":    from openpyxl import Workbook    # headers信息请在头部header中获取    headers = {        'Cookie': '替换为你的Cookie信息',        'Host': '替换为你的host',        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36'    }    # page为分页页码    limit为每一页的订单数量，其他筛选条件在这里添加，具体参考crmeb接口文档     params = {'page': 1, 'limit': 20}       wb = Workbook()    ws = cell_range(wb)    # 设置订单号    order_id = read_data('order_id')    save_xlsx(ws, , sheets=order_id, column='A')    # 设置订单数量    total_num = read_data('total_num')    save_xlsx(ws, , sheets=total_num, column='B')    # 设置支付时间    add_time = read_data('add_time')    save_xlsx(ws, , sheets=add_time, column='C')    # 设置实际支付    pay_price = read_data('pay_price')    save_xlsx(ws, , sheets=pay_price, column='D')    # 设置支付类型    pay_type_name = read_data('pay_type_name')    save_xlsx(ws, , sheets=pay_type_name, column='E')    # 设置推广人    spread_nickname = read_data('spread_nickname')    save_xlsx(ws, , sheets=spread_nickname, column='F')    # 设置产品名称    names = [name[0]['cart_info']['productInfo']['store_name'] for name in read_data('_info')]    save_xlsx(ws, , sheets=names, column='G')    wb.save('data_crmeb.xlsx')

本条爬虫比较简陋，但对于我们自己的后台足够用了，只为方便大家获取订单数据，方便分析，请勿用于其他用途哟。