2023数学建模国赛C题数据预处理代码

已于 2024-08-29 16:21:25 修改
阅读量1k 收藏 16
点赞数 14
文章标签： 数学建模
于 2024-08-28 21:39:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Llcm3030zzstj81/article/details/141649770
版权

数据预处理

注：代码中出现的文件路径改成自己的。

 首先整合几个附件里的数据，先将附件一中‘单品名称’、‘单品编码’、‘分类名称’三者建立起关系，因为分类编码一共就6个，可以直接查找，就没有整理到json中。

import pandas as pd
import json

# 读取 Excel 文件
df = pd.read_excel('附件1.xlsx')  

# 定义要包含在 JSON 对象中的列名
columns = ['单品名称', '单品编码', '分类名称']

# 为每一行创建 JSON 对象
json_objects = []
for index, row in df.iterrows():
    json_object = {}
    json_object['item_name'] = row[columns[0]]
    json_object['item_code'] = row[columns[1]]
    json_object['category_name'] = row[columns[2]]
    json_objects.append(json_object)

# 将所有 JSON 对象组成一个 JSON 数组并写入文件
with open('your_json_name.json', 'w') as f:
    json.dump(json_objects, f, indent=2)  # indent=2 用于添加缩进，使 JSON 更易读

# 打印 JSON 对象
for obj in json_objects:
    print(obj)

部分输出结果如下：

{'item_name': '牛首生菜', 'item_code': 102900005115168, 'category_name': '花叶类'}
{'item_name': '四川红香椿', 'item_code': 102900005115199, 'category_name': '花叶类'}
{'item_name': '本地小毛白菜', 'item_code': 102900005115625, 'category_name': '花叶类'}
…………
{'item_name': '海鲜菇(袋)(2)', 'item_code': 106930274620090, 'category_name': '食用菌'}
{'item_name': '绣球菌', 'item_code': 106931885000035, 'category_name': '食用菌'}
{'item_name': '绣球菌(袋)', 'item_code': 106931885000356, 'category_name': '食用菌'}
{'item_name': '金针菇(袋)(3)', 'item_code': 106949711300068, 'category_name': '食用菌'}
{'item_name': '金针菇(袋)(2)', 'item_code': 106949711300167, 'category_name': '食用菌'}
{'item_name': '金针菇(盒)', 'item_code': 106949711300259, 'category_name': '食用菌'}
{'item_name': '白玉菇(2)', 'item_code': 106956146480197, 'category_name': '食用菌'}
{'item_name': '蟹味菇(2)', 'item_code': 106956146480203, 'category_name': '食用菌'}
…………

 然后找到‘单品编码’和‘销量(千克)’的Excel文件(附件二)，计算每种单品的累加销量，以待后用：

import pandas as pd

# 读取 Excel 文件获取单品编码和销量
sales_data = pd.read_excel('附件2.xlsx')
sales_dict = sales_data.groupby('单品编码')['销量(千克)'].sum().to_dict()

# 累加相同单品编码的销量
accumulated_sales = {}
for item_code, sales in sales_dict.items():
    if item_code in accumulated_sales:
        accumulated_sales[item_code] += sales
    else:
        accumulated_sales[item_code] = sales

# 打印累加后的结果
for item_code, accumulated_sales_value in accumulated_sales.items():
    print(f"单品编码: {item_code}, 累加销量: {accumulated_sales_value}")

输出结果如下： 

……

单品编码: 102900011036266, 累加销量: 3.0

单品编码: 102900011036686, 累加销量: 27.0

单品编码: 102900051000463, 累加销量: 1047.689

单品编码: 102900051000890, 累加销量: 0.671

单品编码: 102900051000944, 累加销量: 745.554

……

这里可以将累加销量的内容保存到txt文件中，以待后用。

再转化为Excel来可视化

import pandas as pd
import json

# 从 output.json 文件读取数据
with open('your_json_name.json', 'r') as file:
    data = json.load(file)

# 将数据转换为 DataFrame
df = pd.DataFrame(data)

# 将数据保存为 Excel 文件
df.to_excel('your_excel_name.xlsx', index=False)
import pandas as pd

# 读取 txt 文件
with open('your_txt_name.txt', 'r') as txt_file:
    lines = txt_file.readlines()

# 处理每一行数据
data = []
for line in lines:
    parts = line.split(',')
    item_code = parts[0].split(': ')[1].strip()
    cumulative_sales = float(parts[1].split(': ')[1].strip())
    data.append([item_code, cumulative_sales])

# 将从 txt 文件中读取的数据转换为 DataFrame
df_txt = pd.DataFrame(data, columns=['item_code', 'cumulative_sales'])

# 读取 Excel 文件
df_excel = pd.read_excel('your_excel_name.xlsx')

# 将 Excel 和 txt 中的单品编码都转换为字符串类型
df_excel['item_code'] = df_excel['item_code'].astype(str)
df_txt['item_code'] = df_txt['item_code'].astype(str)

# 获取 Excel 中单品编码列的数据
excel_item_codes = df_excel['item_code'].values

# 找出 txt 中单品编码在 Excel 中对应的行索引
matching_indices = [i for i, code in enumerate(excel_item_codes) if code in df_txt['item_code'].values]

# 更新累计销量
for index in matching_indices:
    matching_item_code = df_excel.loc[index, 'item_code']
    matching_sales = df_txt[df_txt['item_code'] == matching_item_code]['cumulative_sales'].values[0]
    df_excel.loc[index, 'cumulative_sales'] = matching_sales

# 保存更新后的 Excel 文件
df_excel.to_excel('your_excel_name.xlsx', index=False)

这样就形成了如下形式的excel文件（截取部分）：

item_nameitem_codecategory_namecumulative_sales
牛首生菜102900005115168花叶类899.837
四川红香椿102900005115199花叶类333.223
本地小毛白菜102900005115625花叶类121.02
白菜苔102900005115748花叶类718.676
苋菜102900005115762花叶类5100.061
云南生菜102900005115779花叶类15910.46

 

品类丰富度

在此处可以先讨论各个分类的单品个数（即6种蔬菜的品类丰富度），来先进行一步分析：

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel('your_excel_name.xlsx')

# 按 category_name 分组，计算每个组内的 item_name 数量
category_item_count = df.groupby('category_name')['item_name'].nunique()

print(category_item_count)

输出结果如下：
 

category_name
水生根茎类     19
花叶类      100
花菜类        5
茄类        10
辣椒类       45
食用菌       72
Name: item_name, dtype: int64

可以画出对应的饼状图：

import matplotlib.pyplot as plt

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 数据
categories = ['水生根茎类', '花叶类', '花菜类', '茄类', '辣椒类', '食用菌']
counts = [19, 100, 5, 10, 45, 72]

# 计算百分比
total = sum(counts)
percentages = [count / total * 100 for count in counts]

# 绘制饼状图
plt.pie(percentages, labels=categories, autopct='%1.1f%%')
plt.axis('equal')  
plt.title('不同类别占比')
plt.show()

图片如下：

热销单品

从刚刚整理好的Excel文件中找到销量排名前10的单品：

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel('your_excel_name.xlsx')

# 按照"cumulative_sales"列降序排序
sorted_df = df.sort_values(by='cumulative_sales', ascending=False)

# 选取排名前十的单品
top_ten_items = sorted_df.head(10)

# 打印结果
print(top_ten_items[['item_name', 'cumulative_sales']])

输出结果如下：

    item_name  cumulative_sales
148   芜湖青椒(1)         28164.331
100       西兰花         27537.228
106     净藕(1)         27149.440
16        大白菜         19187.218
5        云南生菜         15910.461
241    金针菇(盒)         15596.000
57    云南生菜(份)         14325.000
124    紫茄子(2)         13602.001
180   西峡香菇(1)         11920.227
157    小米椒(份)         10833.000
 

六大品类蔬菜季度平均销量

先从附件2中整理每季度各种单品的销售量：

import pandas as pd

def get_quarter(date):
    month = date.month
    if 1 <= month <= 3:
        return 1
    elif 4 <= month <= 6:
        return 2
    elif 7 <= month <= 9:
        return 3
    else:
        return 4

# 读取 Excel 文件
df = pd.read_excel('附件2.xlsx')

# 将销售日期列转换为日期格式
df['销售日期'] = pd.to_datetime(df['销售日期'])

# 添加季度列
df['季度'] = df['销售日期'].apply(get_quarter)

# 按季度和单品编码分组，计算销量总和
quarterly_sales = df.groupby(['季度', '单品编码'])['销量(千克)'].sum().reset_index()

# 确保单品编码列是字符串类型
quarterly_sales['单品编码'] = quarterly_sales['单品编码'].astype(str)

# 将结果写入 Excel 文件
quarterly_sales.to_excel('quarterly_sales.xlsx', index=False)

获得的quarterly_sales.xlsx截取部分如下：

季度单品编码销量(千克)
1102900005115168171.376
1102900005115199173.268
11029000051152501402.589
1102900005115748684.023
1102900005115762562.951
11029000051157792687.335
1102900005115786284.373
110290000511579354.954
11029000051158231933.838

利用第一步得到的json文件将单品编码对应的单品名称以及分类名称找出来，就可以得到更清晰的关系：

import pandas as pd
import json

# 读取 Excel 文件
quarterly_sales = pd.read_excel('quarterly_sales.xlsx')

# 读取 JSON 文件
try:
    with open('your_json_name.json', 'r') as file:
        code_name_data = json.load(file)
except FileNotFoundError:
    print("The file was not found.")
    code_name_data = []

# 将 JSON 数据转换为 DataFrame
code_name_df = pd.DataFrame(code_name_data)

# 重命名列以匹配现有 DataFrame 中的列名
code_name_df.rename(columns={'item_code': '单品编码', 'item_name': '单品名称', 'category_name': '分类名称'}, inplace=True)

# 使用 merge 将单品名称和分类名称添加到 quarterly_sales DataFrame
quarterly_sales = pd.merge(quarterly_sales, code_name_df, on='单品编码', how='left')

# 如果找不到对应的单品名称或分类名称，则填充特殊的单品编码
quarterly_sales['单品名称'] = quarterly_sales['单品名称'].fillna('SPECIAL_CODE')
quarterly_sales['分类名称'] = quarterly_sales['分类名称'].fillna('SPECIAL_CATEGORY')

# 确保单品编码列是字符串类型
quarterly_sales['单品编码'] = quarterly_sales['单品编码'].astype(str)

# 将更新后的 DataFrame 写入 Excel 文件
quarterly_sales.to_excel('quarterly_sales_updated.xlsx', index=False)

得到的quarterly_sales_updated.xlsx文件截取如下：

季度单品编码销量(千克)单品名称分类名称
1102900005115168171.376牛首生菜花叶类
1102900005115199173.268四川红香椿花叶类
11029000051152501402.589西峡花菇(1)食用菌
1102900005115748684.023白菜苔花叶类
1102900005115762562.951苋菜花叶类
11029000051157792687.335云南生菜花叶类
1102900005115786284.373竹叶菜花叶类
110290000511579354.954小白菜花叶类
11029000051158231933.838上海青花叶类
1102900005115854124.982萝卜叶花叶类

现在只需要对同一个分类的销量按照季度进行累加即可：

import pandas as pd
import matplotlib.pyplot as plt

# 读取 Excel 文件
df = pd.read_excel('quarterly_sales_updated.xlsx')

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 按季度和分类名称分组，并计算每个分组的销量总和
category_sales_by_quarter = df.groupby(['季度', '分类名称'])['销量(千克)'].sum().reset_index()

# 重新排序列以适应季度和分类名称
category_sales_by_quarter = category_sales_by_quarter.pivot(index='季度', columns='分类名称', values='销量(千克)')

# 填充 NaN 值，将没有销量的分类名称设置为 0
category_sales_by_quarter.fillna(0, inplace=True)

# 打印表格
print(category_sales_by_quarter)

# 绘制曲线图
for column in category_sales_by_quarter.columns:
    plt.plot(category_sales_by_quarter.index, category_sales_by_quarter[column], label=column)

plt.xlabel('季度')
plt.ylabel('销量(千克)')
plt.title('各分类季度销量曲线')
plt.legend()
plt.show()

结果如图：

 

GTXY90
关注
2023高教社杯数学建模国赛C题详细代码 文章 数据教学 保姆级手把手包含文档格式 2024数模国赛教学:蔬菜类商品的自动定价和补货决策
yeqianqian_的博客
08-25 1580
这期文档是 2023 年的高教授全国大学生数学建模比赛 C题 的一个详细的复盘建模教学，也包括代码复现，它分为两个部分。第一个部分我们会结合着这个赛题的内容，然后这个题目还有数据的一个设计，跟大家详细的讲一下，我们看到这个题目我们解题的一个思路是什么样子的. 我们可以采用什么样子的模型，怎么样进行数据预处理. 然后如果我们想要进行模型的对比或者是模型的一个优化调优提升，应该要怎么样进行这个脱颖而出的模型的选用第二部分就是我们会对这个文章的代码进行一个复现，一步步教大家怎么样去进行这个问题的解答。
用AI比赛助手降维打击数学建模，比赛过程详细介绍，这保研不就稳了吗
热门推荐
独木不成林，单弦不成音。
05-26 12万+
数学建模是个小众的赛道，可能很多大学生不知道，简单来说：他能薅学分、保研加分、毕业好找工作(简历上写一辈子)，尤其是基于GPT-4o模型，简直对他们是降维打击。数学建模每年的比赛非常多，像国赛、美赛、深圳杯、华为杯这些含金量非常高的比赛，可以为保研加分。我们应该如何提高获奖几率呢？使用【数学建模比赛助手】能有效减少各个环节的时间和精力投入，提高团队的整体效率和竞争力。
2023数模国赛C 题 蔬菜类商品的自动定价与补货决策-完整版创新多思路详解（含代码）
lichensun的博客
09-08 1万+
题目简评：看下来C题是三道题目里简单一些的，考察的点比较综合，偏数据分析。涉及预测模型和运筹优化(线性规划)，还设了一问开放型问题，适合新手入门，发挥空间大。在生鲜商超中，一般蔬菜类商品的保鲜期都比较短，且品相随销售时间的增加而变差， 大部分品种如当日未售出，隔日就无法再售。因此，商超通常会根据各商品的历史销售和需求情况每天进行补货。由于商超销售的蔬菜品种众多、产地不尽相同，而蔬菜的进货交易时间通常在凌3:00-4:00，为此商家须在不确切知道具体单品和进货价格的情况下，做出当日各蔬菜品类的补货决策。
全国数学建模比赛2023年C题数据分析代码（仅供参考）
最新发布
weixin_66547608的博客
08-19 2358
列，然后统计每个单品编码在每年中不同日期的数量（天数），接着找出每个单品编码在所有年份中出现的最大天数，绘制天数分布直方图，并筛选出一年中出现天数不超过 15 天的单品编码，统计数量并打印相关信息。这里设置了销售天数的阈值为 10，计算了每个单品编码的不同销售日期数量，绘制了销售天数分布直方图，并找出销售天数小于等于阈值的单品编码，打印了相关信息。设置了销量占比的阈值为 0.00003，计算了每个单品编码的总销量和销量占比，找出销量占比小于阈值的单品编码，绘制了销量占比直方图，并打印了相关信息。
2023年数学建模国赛C题数据处理
ys2313的博客
05-30 5372
小白入手2023年数学建模国赛C题，不会数据处理怎么办
【数学建模】2023数学建模国赛C题完整思路和代码解析
qq_45857113的博客
09-08 5万+
C题第一问代码和求解结果已完成，第一问数据量有点大，经过编程整理出来了单品销售额的汇总数据、将附件2中的单品编码替换为分类编码，整理出了蔬菜各品类随着时间变化的销售量，并做出了这些疏菜品类的皮尔森相关系数的热力图
【2023年数学建模国赛】C题代码与技术文档分享
Magnolia_He的博客
09-09 4531
下面是学姐自己整理的完整代码与运行结果，需要的同学欢迎咨询~
2020C题数学建模国赛一等奖论文+完整代码和excel数据处理表格.zip
09-06
这篇资源是关于2020年全国大学生数学建模竞赛（国赛）C题的一等奖获奖论文，包含完整的代码和Excel数据处理表格，对于想要学习数学建模或提高建模能力的学生来说是一份宝贵的参考资料。这里我们将深入探讨其中涉及的...
2018数学建模国赛所参考代码
03-22
【2018数学建模国赛所参考代码】是一个针对2018年全国数学建模竞赛A题的解决方案集合。数学建模是运用数学工具解决实际问题的过程，它涵盖了数学、计算机科学、统计学等多个领域。在这个压缩包中，我们可以期待找到...
2023高教社数学建模国赛C题 - 蔬菜类商品的自动定价与补货决策（完整参考论文）
ProminentWu的博客
09-08 6952
摘要商超（超市和零售店）在现代经济中扮演着至关重要的角色，然而，它们在蔬菜商品管理中面临着多重挑战。这些挑战包括如何准确预测销售趋势、合理制定价格策略、以及有效制定补货计划等问题。解决这些问题对于商超来说至关重要，因为它们直接影响着销售收益、库存成本和客户满意度。因此，本研究旨在为商超提供一套全面的蔬菜商品管理策略，以帮助它们更好地应对这些挑战。针对问题一，在蔬菜商品管理中，首要问题之一是如何准确预测销售趋势。这包括了不同蔬菜品类的销售模式，如季节性销售高峰和低谷。我们需要深入了解哪些蔬菜在特定时间段内销售
2020国赛C题代码.zip
02-11
《2020国赛C题代码：数学建模与前馈神经网络的应用》 在2020年的全国大学生数学建模竞赛中，参赛队伍面临的C题涉及到一系列的复杂问题，这些问题的解决离不开数学建模和计算机算法的支持。本压缩包中的代码，就是...
2023 数学建模高教社杯 国赛（C题）建模秘籍&文章代码思路大全
数学建模小秘籍的博客
09-07 6266
小秘籍希望大家都能轻松建模呀，国赛也会持续给大家放松思路滴~要保持积极的心态，不断提高建模和解决问题的能力。完整思路+代码看看这里哦~抓紧小秘籍，我们出发吧~来看看国赛C题的题目~
2023年国赛高教杯数学建模C题蔬菜类商品的自动定价与补货决策解题全过程文档及程序
weixin_43292788的博客
05-10 2785
2023年国赛高教杯数学建模C题蔬菜类商品的自动定价与补货决策解题全过程文档及程序
【C++】2023年数学建模国赛C题87万条数据处理（附源码）
dbs2875337793的博客
09-19 2656
通俗的话说就是，读取第一个参数对应的文件数据，读取数据的类型和个数由第二个参数决定，之后写上对应读取数据数量的存放地址。在调试过程中发现，小数会在小数点后17位有2的误差，在87万分数据中可能会放大误差，所以我将读取到的浮点数*100+0.1后在转化为整形，这样可以消除因此产生误差的可能性。如果已存在同名文件，则会丢弃其内容，并将该文件视为新的空文件。如果已存在同名文件，则会丢弃其内容，并将该文件视为新的空文件。第一步，我打算将excel表格的文件转化成.txt的文本文件，方便我们对文件数据的读取。
2023 高教社杯 数学建模国赛（C题）深度剖析
qq_25834913的博客
09-07 2442
我的解题思路是基于数学建模领域的前沿理论和实践研究，具有极强的创新性和实用性。我深入分析了各种数学建模问题，并总结出了一套行之有效的解决方案，帮助大家在竞赛中脱颖而出，或在实际情景中解决问题。我的解题思路的实用性得到了众多用户的认可，许多人已经使用我的方法成功地解决了各种问题，了解了各种思路和技巧。通过使用我的解题思路，大家可以快速理解和掌握数学建模问题，并且取得更好的成绩和效果。作为2021年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题。本仓库是国赛C题仓库！
【多思路附源码】2023高教社杯 国赛数学建模C题思路 - 蔬菜类商品的自动定价与补货决策
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
09-08 1万+
在生鲜商超中，一般蔬菜类商品的保鲜期都比较短，且品相随销售时间的增加而变差， 大部分品种如当日未售出，隔日就无法再售。因此， 商超通常会根据各商品的历史销售和需 求情况每天进行补货。由于商超销售的蔬菜品种众多、产地不尽相同，而蔬菜的进货交易时间通常在凌晨 3:00- 4:00，为此商家须在不确切知道具体单品和进货价格的情况下， 做出当日各蔬菜品类的补货 决策。蔬菜的定价一般采用“成本加成定价”方法， 商超对运损和品相变差的商品通常进行 打折销售。可靠的市场需求分析，对补货决策和定价决策尤为重要。
2023高教社杯数学建模国赛C题思路解析+代码+论文
ivanlj的博客
08-29 4万+
2023高教社杯数学建模国赛C题思路解析+代码+参考论文等及如何准备数学建模竞赛 C君将会第一时间发布选题建议、所有题目的思路解析、相关代码、参考文献、参考论文等多项资料
2023年数学建模c题思路
09-09
对于2023年数学建模的C题，思路可能会根据具体题目而有所不同。但是，通常数学建模的C题都是要求建立一个数学模型来解决实际问题。以下是一些可能的思路和步骤： 1. 阅读题目：仔细阅读题目，理解问题的背景和要求。注意提取关键信息和条件。 2. 确定问题类型：确定问题是优化问题、拟合问题、预测问题等，这有助于选择适当的建模方法。 3. 假设和简化：根据题目的实际情况，进行必要的假设和简化。这有助于简化问题并使其更容易建立数学模型。 4. 数据分析：如果有提供数据，进行数据分析以了解数据的特征和规律。可以使用统计方法、图表分析等。 5. 建立数学模型：根据题目的要求和已有信息，选择合适的数学模型。可能涉及到微积分、线性代数、概率统计等数学知识。 6. 求解模型：使用适当的方法求解建立的数学模型。可以使用数值计算方法、优化算法等。 7. 模型评估：对建立的模型进行评估，检查模型的有效性和可靠性。可以使用误差分析、灵敏度分析等方法。 8. 结果解释：将模型的结果进行解释，回答问题的要求。可以进行结果可视化，提供直观的展示。 以上是一个一般的思路，具体问题具体分析。建议通过实践和参考相关数学建模的书籍和经验来进一步完善你的解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值