第一章 农业与大数据
第一讲 大数据时代
一.大数据的定义
大数据,巨量资料,传统数据处理应用软件不足以处理的大或复杂的数据集。
二.大数据的特征
数据量大、多样性、高速性、低价值密度
1. 数据量大
2. 多样性
各种格式、类型和结构:
• 文本、数字、图像、音频、视频、序列、时间序列、社交媒体数据、多维阵列等;
• 静态数据与流式数据.
静态数据与流式数据
①区别:
静态数据:存储在磁盘中的固定的数据;
流式数据:不断产生的数据,源源不断,不会停止。
②流式计算的概念
对数据流进行计算,由于数据是不断产生的,所以一直再计算,不会停止。
③ 流式数据的流式计算有什么特点:
- 数据是无界的;
- 数据是动态的;
- 计算速度是非常快的;
- 计算不止一次;
- 计算不能终止。
④ 静态数据的离线计算的特点:
- 数据是有界的;
- 数据是静态的;
- 计算速度通常较慢;
- 计算只执行一次;
- 计算终会终止。
3. 高速性
数据快速生成 / 输入,需要快速处理:
• 在线数据分析;
• 决策延迟则会错失机会。
4. 低价值密度
大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识。
第三讲 农业大数据概述
一.农业大数据的定义
农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值,并难以应用通常方法处理和分析的数据集合。
农业大数据之“大”主要是体现在“多维度”上:
“涉农”:广泛性和全面性,涵盖农业生产过程的全要素。
“涉业”:涉及产业链全过程的各个方面的数据。
农业领域为什么需要大数据技术?
① 提高农业生产效率
② 改善农业决策
③ 实现可持续农业发展