![a36222021d0f0ed4378e3ca24ebfe2f4.png](https://i-blog.csdnimg.cn/blog_migrate/282f9a7b98928c903ed05b247bd19433.jpeg)
Python爬虫学习
安装依赖库
pip3 install requests, openpyxl
爬取思路
- 后台ingdan的接口地址是:/admin/order.StoreOrder/order_list.html
- 登陆之后我们可以获取到header信息,利用requests.get方式获取接口数据,并将爬取的response数据返回为json数据,利用字典的get方式获取我们需要的信息。
- 将我们需要的订单、支付时间等信息逐项读取并返回为一个列表格式
- 创建一个空白的excel文档
- excel第一行设置为每一列的标题
- 每个标题对应的列存入对应的数据
import jsonimport reimport requestsfrom openpyxl import Workbookdef load_json(): """ 读取json中的data信息 """ resp = requests.get( 'http://xxx.com/admin/order.StoreOrder/order_list.html?', params=params, headers=headers ).content.decode('utf-8') datas = json.loads(resp).get('data', '不存在') return datasdef read_data(dict_name): """ dict_name对应的每个值,读取订单信息 order_id - 订单ID | pay_price - 实际支付 | pay_type_name - 支付类型 | pink_name - 订单类型 mark - 用户备注(邮箱)| total_num - 订单数量 | add_time - 支付时间 | _info - 商品名称(返回一个列表) """ datas = load_json() return [data[dict_name] for data in datas] def cell_range(wb): """ 创建一个空白表格 """ ws = wb.active return wsdef save_xlsx(ws, title, sheets, column, start=2): """ 设置首行标题及标题对应的值 """ ws[column+str(start-1)] = title for i in list(range(start, len(sheets)+start)): ws[column+str(i)].value = sheets[i-start]
函数使用文档
- load_json()爬取接口数据并返回data的json格式数据
- read_data()获取每个数据的列表
- cell_range()获取excel的默认表格,并返回
- save_xlsx(ws, title, sheets, column, start=2)ws: 空白的表格title: 设置第一行对应数据的标题sheets: 每个数据的列表column: 每一列对应的大写字母如(A,B,C,D,E)
开始爬取并保存,需要获取更多数据,请参考CRMEB的接口文档
if __name__ == "__main__": from openpyxl import Workbook # headers信息请在头部header中获取 headers = { 'Cookie': '替换为你的Cookie信息', 'Host': '替换为你的host', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36' } # page为分页页码 limit为每一页的订单数量,其他筛选条件在这里添加,具体参考crmeb接口文档 params = {'page': 1, 'limit': 20} wb = Workbook() ws = cell_range(wb) # 设置订单号 order_id = read_data('order_id') save_xlsx(ws, , sheets=order_id, column='A') # 设置订单数量 total_num = read_data('total_num') save_xlsx(ws, , sheets=total_num, column='B') # 设置支付时间 add_time = read_data('add_time') save_xlsx(ws, , sheets=add_time, column='C') # 设置实际支付 pay_price = read_data('pay_price') save_xlsx(ws, , sheets=pay_price, column='D') # 设置支付类型 pay_type_name = read_data('pay_type_name') save_xlsx(ws, , sheets=pay_type_name, column='E') # 设置推广人 spread_nickname = read_data('spread_nickname') save_xlsx(ws, , sheets=spread_nickname, column='F') # 设置产品名称 names = [name[0]['cart_info']['productInfo']['store_name'] for name in read_data('_info')] save_xlsx(ws, , sheets=names, column='G') wb.save('data_crmeb.xlsx')
本条爬虫比较简陋,但对于我们自己的后台足够用了,只为方便大家获取订单数据,方便分析,请勿用于其他用途哟。