基于大数据的农产品价格信息监测分析系统-计算机毕业设计

欢迎大家关注，文末有联系方式

一项目简介

  本项目利用网络爬虫技术从某蔬菜网采集所有农产品的价格数据，包括北京、上海、安徽、湖北等全国所有省和直辖市的农产品价格数据，解析后存储到数据库中。 建立农产品价格数据仓库，以web交互形式对外提供检索服务，并利用 echarts 实现农产品的可视化分析。

二、功能组成

   基于大数据的农产品价格信息监测分析系统的主要功能包括：

  使用Scrapy框架爬取多个农产品价格交易网站进行采集；
将爬取到的农产品价格信息等多个重要数据如：品类、产地、时间、价格等存储到数据库中，农产品种类至少20种。
  使用python/kettle工具对多方数据进行合并清洗整理，建立数据仓库
  使用echart+web对数据进行可视化检测与分析
  创建web界面能够注册登录网页，可在爬取到的众多农产品中使用查询产地、查询产品名称等方式搜索和点击选择一种农产品进行分析图查看。
  具体分析图有：价格变化折线图、产地均价、最高、最低、平均、产品种类和价格关系图、数量分布图、产地价格对比图等10个左右，具体图表内容可以协商。
  采用机器学习中的回归算法根据大豆和玉米的时间价格对猪肉进行预测。
爬虫能自动定时爬取数据添加到数据仓库中。

三 农产品数据采集

  针对某农产品信息网站，利用 request + beautifulsoup 编写原生网络爬虫，完成数据的采集和清洗，并存储到数据库或文件系统中

三、基于大数据的农产品价格信息监测分析系统

3.1 系统首页和注册登录

3.2 全国各地区不同农产品价格数据分析

3.3 不同农产品价格价格对比分析

3.4基于ARIMA自回归模型的农产品预测

五. 总结

  本项目利用网络爬虫技术从某蔬菜网采集所有农产品的价格数据，包括北京、上海、安徽、湖北等全国所有省和直辖市的农产品价格数据，解析后存储到数据库中。 建立农产品价格数据仓库，以web交互形式对外提供检索服务，并利用 echarts 实现农产品的可视化分析。

六、 文章目录

目 录
摘 要 I
ABSTRACT II
目 录 II
第1章 绪论 1
1.1背景及意义 1
1.2 国内外研究概况 1
1.3 研究的内容 1
第2章 相关技术 3
2.1 Python简介 4
2.2 Django 框架介绍 6
2.3 B/S结构 4
2.4 MySQL数据库 4
第3章 系统分析 5
3.1 需求分析 5
3.2 系统可行性分析 5
3.2.1技术可行性：技术背景 5
3.2.2经济可行性 6
3.2.3操作可行性： 6
3.3 项目设计目标与原则 6
3.4系统流程分析 7
3.4.1操作流程 7
3.4.2添加信息流程 8
3.4.3删除信息流程 9
第4章 系统设计 11
4.1 系统体系结构 11
4.2开发流程设计系统 12
4.3 数据库设计原则 13
4.4 数据表 15
第5章 系统详细设计 19
第6章 系统测试 25
6.1系统测试的目的 25
6.2系统测试方法 25
6.3功能测试 26
结 论 28
致 谢 29
参考文献 30