python结合openpyxl获取数据并写到excel和csv文件中

 

需求背景：在工作中很少情况会去统计后台菜单与功能，不巧的是最近我们公司收购了其他公司的产品，包括一些后台系统；

有一次登进去瞄了一眼，里面的菜单着实有点多，还包含很多二级、三级、四级等等菜单。

那避免不了去统计菜单的活了，脑海里一下子就有了2中方法：

1、就是使用抓包方式去从页面元素里抓取并且处理；（过程这次咱就不说了）

2、还可以通过接口返回的菜单数据进行获取处理。（这次就说下这个）

        下面我会使用2种方式进行实现：

 优化前（使用比较笨拙的方法）：

缺点：显而易见的代码量太多了，而且每增加一层目录就要新增几行代码，显得不怎么智能！

 先判断大概最多的菜单层级是几层，然后确定输出几层菜单数据（我这里创建了5层菜单）：

# menuType = F(操作功能)不是菜单，不需要统计   M（一级目录）  C（二级目录） S （二级页面）
# 遍历菜单数据并输出有层级的目录
def print_menu(menu_list,row_index=2):
    # 创建表格
    wb_1 = openpyxl.Workbook()
    # 创建目录
    sheet = wb_1.create_sheet('菜单目录', 0)
    # 创建一级目录title
    sheet.cell(1, 1, '一级目录')
    # 遍历嵌套的字典
    for menu_dic in menu_list:
        # 判断是否为功能菜单还是目录菜单，不需要输出功能菜单
        if menu_dic['menuType'] != 'F':
            # 提取字典中的menuName字段值，存放到表格中
            sheet.cell(row_index, 1, menu_dic['menuName'])
            row_index += 1
            # 判断是否存在子菜单
            if 'menuTreeDtos' in menu_dic and menu_dic['menuTreeDtos'] is not None:
                # 创建二级目录title
                sheet.cell(1, 2, '二级目录')
                # 存在，则遍历列表中的字典
                for child_1 in menu_dic['menuTreeDtos']:
                    # 判断是否为功能菜单还是目录菜单，不需要输出功能菜单
                    if child_1['menuType'] != 'F':
                        sheet.cell(row_index, 2, child_1['menuName'])
                        row_index += 1
                        # 判断是否存在子菜单
                        if 'menuTreeDtos' in child_1 and child_1['menuTreeDtos'] is not None:
                            # 创建三级目录title
                            sheet.cell(1, 3, '三级目录')
                            for child_2 in child_1['menuTreeDtos']:
                                # 判断是否为功能菜单还是目录菜单，不需要输出功能菜单
                                if child_2['menuType'] != 'F':
                                    sheet.cell(row_index, 3, child_2['menuName'])
                                    row_index += 1
                                    if 'menuTreeDtos' in child_2 and child_2['menuTreeDtos'] is not None:
                                        # 创建四级目录title
                                        sheet.cell(1, 4, '四级目录')
                                        for child_3 in child_2['menuTreeDtos']:
                                            # 判断是否为功能菜单还是目录菜单，不需要输出功能菜单
                                            if child_3['menuType'] != 'F':
                                                sheet.cell(row_index, 4, child_3['menuName'])
                                                row_index += 1
                                                if 'menuTreeDtos' in child_3 and child_3['menuTreeDtos'] is not None:
                                                    # 创建五级目录title
                                                    sheet.cell(1, 5, '五级目录')
                                                    for child_4 in child_3['menuTreeDtos']:
                                                        # 判断是否为功能菜单还是目录菜单，不需要输出功能菜单
                                                        if child_4['menuType'] != 'F':
                                                            sheet.cell(row_index, 5, child_4['menuName'])
                                                            row_index += 1
    print('row_index的值为', row_index - 1)
    wb_1.save('data.xlsx')
    xlsx_to_csv('data.xlsx','data.csv')

查看xlsx表格数据：

我们数据从哪里来呢？

1、接口返回（使用requests库）

2、直接把返回数据复制到文本里，然后使用上下文管理器去读取数据 

menu.text文件内容大概是这样的：

 写个读取文件内容的方法：

with open('./menu.text', encoding='utf-8', mode='r+') as f:
    json_str = f.readlines()[0]
    # print(json_str)
# 解析JSON字符串获取菜单数据
menu_data = json.loads(json_str)

 如果我想把excel里的数据写到csv里 可以吗？

当然可以~

def xlsx_to_csv(filename1, filename2):
    workbook = openpyxl.load_workbook(filename1)
    table = workbook.active
    # utf-8-sig: 可以解决中文乱码问题
    with open(filename2, "w+", encoding="utf-8-sig") as f:
        import csv
        write = csv.writer(f)
        data = []
        for i in range(1, table.max_row + 1):
            row_stack = []
            for j in range(1, table.max_column + 1):
                row_stack.append(table.cell(row=i, column=j).value)
            data.append(row_stack)
        write.writerows(data)
        print('转换成功！！！')

csv文件的内容大概是这样的：

优化后（使用递归）：

 这个方法明显代码量减少了很多了，而且后期不需要一次一次的因为层级改变去增减代码！

# 创建表格
wb_1 = openpyxl.Workbook()
# 创建目录
sheet = wb_1.create_sheet('菜单目录', 0)
row_index=1
sheet.cell(1, 1, '1级目录')
sheet.cell(1, 7, '功能目录')
# 递归函数，遍历节点并记录每一层级的menuName值
def print_menu(data,col_index):
    global  row_index
    if isinstance(data,dict):
        # print(data)
        for k_list in data.keys():
            if "menuName" in k_list:
                row_index += 1
                if data["menuType"]!="F":
                    print(data)
                    sheet.cell(row_index, col_index-1, data['menuName'])
                    if 'menuTreeDtos' in data and data['menuTreeDtos'] is not None:
                        print("row_index:",row_index)
                        print("col_index:",col_index)
                        print_menu(data['menuTreeDtos'],col_index)
                else:
                    sheet.cell(row_index, 7, data['menuName'])
    else:
        for i in data:
            sheet.cell(1, col_index+1, f'{col_index+1}级目录')
            print_menu(i,col_index+1)


# 输出有层级的目录并返回结果列表
result = print_menu(menu_data,1)
​wb_1.save('data_1.xlsx')

 写进表格里的数据为：

 看上去是不是轻便很多