毕设设计项目---基于机器学习的农产品产量预测系统（Flask框架）

1. 项目简介

农业在全球粮食安全中起着至关重要的作用。然而，由于气候变化、土地使用变化和人口增长等因素，预测农作物产量变得越来越复杂。本项目旨在开发一个基于机器学习的农产品产量预测系统，利用历史数据来预测不同地区和作物的产量。本系统是一个基于机器学习的农产品产量预测平台，通过历史数据预测不同地区和作物的产量。系统包括数据收集、数据处理、模型训练、预测和Web应用功能。用户可以通过Web界面输入数据，获取预测结果。系统采用Flask作为Web框架，使用机器学习算法进行数据预测，并通过数据库存储和管理相关数据。

2. 项目背景

• 农业生产力： 准确预测农作物产量对于资源优化配置和可持续农业实践至关重要。
• 挑战： 气候变化、水资源、土壤健康以及作物病害等多种因素使得产量预测变得更加复杂。然而，机器学习可以通过识别历史农业数据中的模式，来有效建模这些复杂的因素。
• 技术创新： 通过将机器学习模型与Web界面（Flask框架）结合，系统可以为农民、政策制定者和研究人员提供方便的产量预测工具，帮助其做出更好的决策。

3. 项目目标

• 主要目标： 开发一个准确的农业产量预测模型，基于历史的作物生产数据、播种面积等因素。
• 次要目标： 开发一个使用Flask的用户友好型Web应用，展示预测结果并提供用户与系统交互的功能。

4. 数据来源

系统的主要数据来源为chinese_grains_product.csv文件，该文件包含了不同年份的粮食产量、播种面积以及其他相关因素的数据。除此之外，还将通过spider1.py脚本抓取来自不同网站的实时农业价格数据和地区性指标。

5. 机器学习模型

该系统的机器学习模型将基于回归技术，因为我们要预测的是连续数值（如农作物产量）。主要步骤包括：

• 特征选择： 系统将使用作物类型、播种面积、人口等变量来训练模型。
• 数据预处理： 对数据进行清洗和归一化，消除不一致性。
• 模型训练： 将测试多种回归算法（如线性回归、决策树和随机森林），并选择表现最佳的模型。
• 模型评估： 使用均方误差（MSE）和决定系数（R-squared）等指标来评估模型性能。

6. 技术框架

• 后端： 使用Python和Flask作为后端框架，Flask将提供Web服务，而SQLAlchemy用于数据库管理（使用SQLite进行简单存储）。
• 机器学习： 系统将使用scikit-learn等库来构建和训练回归模型。
• 前端： 使用HTML/CSS模板构建简单的前端，并通过JavaScript进行动态交互。数据将通过图表和表格进行可视化，确保预测结果清晰易懂。
• 数据库：SQLite（通过SQLAlchemy进行管理）
• 数据采集：requests, BeautifulSoup（用于抓取实时数据）

系统包括以下核心功能模块：

1. 数据收集与存储：从外部网站抓取实时农业数据，并将其存储到数据库中。
2. 数据预处理：对数据进行清洗、归一化、缺失值填补等预处理操作。
3. 机器学习模型：使用回归算法（如线性回归、随机森林等）对历史数据进行训练，并基于新的输入数据进行预测。
4. Web界面：提供用户交互界面，允许用户输入数据并查看预测结果。
5. 数据库管理：使用SQLite数据库存储历史数据、预测结果和用户信息。

数据收集模块（spider1.py）

该模块使用Python的requests库抓取农业数据，并用BeautifulSoup解析网页内容。数据抓取的目标是农业价格、播种面积和作物产量等信息。抓取的数据会存储在xinxi.db数据库中。

主要功能：

• 通过URLs抓取各省份的农业数据。
• 使用BeautifulSoup提取网页中的农业数据。
• 将抓取的数据存入数据库表RegionData中。

数据预处理模块

在数据预处理阶段，系统会对历史数据进行清洗、归一化和缺失值填补。数据预处理的目的是确保数据符合机器学习模型的输入要求，并且具有较好的预测能力。

主要功能：

• 缺失值处理：填补缺失值，常用方法包括均值填补和中位数填补。
• 异常值处理：通过设定阈值去除不符合常规的数据点。
• 归一化：对数据进行归一化（如Min-Max归一化），以确保数据在相同范围内，便于模型学习。

机器学习模块

该模块主要使用回归算法进行农产品产量预测。我们选择了scikit-learn库，测试了多种回归算法，包括线性回归和随机森林回归。

主要功能：

• 使用train_test_split方法将数据分为训练集和测试集。
• 使用不同的回归算法训练模型。
• 评估模型性能并选择最优模型。
• 使用训练好的模型对新输入的数据进行预测。

Web应用模块

Web应用模块使用Flask框架，提供Web接口与前端用户交互。用户可以通过Web表单输入数据，系统返回预测结果。前端使用HTML、CSS和JavaScript实现简单的交互和结果展示。

主要功能：

• 提供输入表单，用户输入作物类型、播种面积、地区等参数。
• 使用Flask路由处理用户请求并返回预测结果。
• 通过图表展示预测的农产品产量趋势。

数据库模块

数据库使用SQLite，所有数据（包括农业历史数据、预测结果和用户信息）都存储在数据库中。数据通过SQLAlchemy进行管理和操作。

主要功能：

• 存储农业历史数据（作物产量、播种面积等）。
• 存储抓取的实时数据（如价格、地区信息）。
• 存储用户输入的预测请求和结果。

数据库设计

数据库使用SQLite，设计了以下数据表：

1. ShuJu 表：

• 用于存储历史农业数据，包括年份、作物产量、播种面积等。
• 字段：
• id：主键
• year：年份
• total_grain_production：总粮食产量
• cereal_production：谷物产量
• rice_production：稻谷产量
• wheat_production：小麦产量
• corn_production：玉米产量
• legume_production：豆类产量
• tuber_production：薯类产量
• total_sowing_area：总播种面积
• grain_sowing_area：粮食作物播种面积
• cereal_sowing_area：谷物播种面积
• rice_sowing_area：稻谷播种面积
• wheat_sowing_area：小麦播种面积
• corn_sowing_area：玉米播种面积
• legume_sowing_area：豆类播种面积
• tuber_sowing_area：薯类播种面积
• population：总人口
• per_capita_grain：人均粮食产量

1. RegionData 表：

• 用于存储从外部网站抓取的实时农业数据。
• 字段：
• id：主键
• region：地区名称
• data：抓取的实时数据（如价格、播种面积等）

1. Predictions 表：

• 用于存储用户请求的预测数据和结果。
• 字段：
• id：主键
• user_id：用户ID（外键）
• crop_type：作物类型
• sowing_area：播种面积
• prediction：预测产量
• timestamp：请求时间

系统流程图

7. 预期成果

• 预测系统： 开发一个能够根据输入的历史数据预测农作物产量的系统。
• 用户界面： 一个Web应用，允许用户输入数据并获得预测结果。
• 见解： 系统能够提供有关影响农作物产量的因素的洞察，用户还可以基于不同的输入进行情景模拟。

8. 方法论

1. 数据收集与预处理：

• 清洗数据，处理缺失或错误值。
• 通过spider1.py脚本集成实时数据，提高预测的准确性。

1. 特征工程：

• 选择和提取对预测有显著影响的特征（如播种面积、作物类型、人口等）。

1. 模型开发：

• 使用回归模型（如线性回归、随机森林）训练系统，优化模型参数。

1. Web应用开发：

• 开发Flask应用，允许用户通过Web界面与系统交互并获取预测结果。

1. 评估与测试：

• 通过实际测试评估模型的准确性和应用的可用性。

9. 时间安排

• 第1个月： 数据收集、清洗和预处理。
• 第2个月： 模型开发与初步测试。
• 第3个月： Web应用开发与机器学习模型集成。
• 第4个月： 评估、测试和最终调整。
• 第5个月： 撰写报告和提交论文。

10. 结论

本项目结合机器学习技术与Web开发，旨在为农业产量预测提供一个实用工具。通过利用历史数据和实时信息，系统将为农民、政策制定者和研究人员提供有价值的洞察，帮助其在农业生产中做出更好的决策。

项目具体演示视频：

【大数据分析专业毕设之基于机器学习算法的农产品产量预测可视化分析s2025002】 https://www.bilibili.com/video/BV1h7kMYQEzd/?share_source=copy_web&vd_source=3d18b0a7b9486f50fe7f4dea4c24e2a4

需要项目配套源码可以私信博主