物联网技术-第5章-物联网数据处理

目录

1.物联网数据特征

2.物联网数据处理

（1）数据清洗

（2）数据存储

（3）数据融合

（4）数据挖掘

3.大数据基本概念

4.云计算基本概念

（1）背景

（2）模式

（3）分类 

（4）特征

（5）优势

（6）体系结构

（7）服务流程

5.致谢

---

1.物联网数据特征

（1）时序性：物联网数据是在时间序列上生成的，每个数据点都附带有时间戳，这有助于分析数据的时效性、完整性和一致性，并进行时间序列分析，发现数据中的趋势、周期性和异常。

（2）结构化：数据通常具有固定格式和类型，便于以表格或数据库形式存储管理。这些数据多为数值型（如温度、湿度测量值）或枚举型（如设备状态）。

（3）稀疏性：数据集中可能包含大量缺失值或无效值，源于传感器故障、网络问题等，需要预处理以确保数据分析的准确性。

（4）海量性：物联网系统生成的数据量极为庞大，要求高效的数据存储、压缩及传输技术以应对数据管理和分析的挑战。

（5）多样性：数据源自多种类型和功能的设备，不同设备的数据格式、精度、采集频率各异，需要数据融合与标准化处理。

（6）实时性：数据通常需要实时处理和分析，以支持快速决策和响应，这对数据处理系统的实时计算能力提出了高要求。

（7）数据源唯一性：每个采集点的数据源是唯一的，这有助于追踪数据源头并保证数据的准确性和可信度。

（8）极少更新或删除：一旦数据被记录，很少进行修改或删除操作，数据管理更侧重于新增和按期限淘汰。

（9）写多读少：操作模式上，数据写入频繁而读取相对较少，系统设计需优化写入性能。

（10）基于时间段和地理区域的查询：分析需求常聚焦于特定时间段或地理区域内的数据趋势，而非单一数据点。

（11）数据保留期限：数据通常按预定的保留策略定期删除，以管理存储资源。

（12）实时计算与统计：数据往往需要实时的统计和聚合处理，以支撑即时的业务洞察和决策。

（13）流量平稳：尽管数据量大，物联网数据流量相对平稳，可预测性较强，有利于资源规划。

2.物联网数据处理

物联网数据流程包括：数据清洗、数据存储、数据融合、数据挖掘、智能决策等步骤

（1）数据清洗

数据清洗(Data Cleaning) 是对数据进行审查和校验的过程， 目的在于删除重复信息、纠正存在的错误（处理无效值和缺失值）、 保证数据的一致性 。

（2）数据存储

数据存储（Data Storage） 是对信息（数据）进行 归档 、 整理 和 共享 的过程——将数据以某种格式记录在计算机内部或外部存储介质上。

常用的存储介质有：磁带、磁盘、光盘、U盘等。

 MapReduce 是Google公司工程师Jeffrey Dean提出的处理大规模数据集（大于1TB）的 分布 式并行计算 编程模型，是Google云计算的核心技术

 HDFS （Hadoop Distributed File System）是一种高度容错的 分布式文件系统模型 ，由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上，而且能够提供高吞入量的数据访问。

                        

（3）数据融合

数据融合（Data Fusion） 技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。

        

（4）数据挖掘

数据挖掘（Data Mining） 是指应用一定的分析方法，从大量数据中提取出一些有价值的信息和知识的过程。

3.大数据基本概念

大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

                                

大数据的“ 5V ”特征

大体量 （Volume）：数据量达到数百TB到数百PB，甚至是EB的规模

多样性 （Variety）：数据为各种格式与各种类型

时效性 （Velocity）：数据需要在一定的时间限度下得到及时处理

准确性 （Veracity）：处理结果要保证一定的准确性

大价值 （Value）：分析挖掘的结果可以带来重大的经济效益与社会效益

4.云计算基本概念

（1）背景

互联网 使得人们对软件的认识和使用模式发生了潜移 默化的改变。计算模式的变革必将会带来一系列的挑战。

 如何获取 海量的存储和计算资源 ？

 如何在互联网这个无所不包的平台上更 经济地运营 服务 ?

 如何才能使互联网服务更加 敏捷 、更 随需应变 ?

 如何让企业和个人用户更加 方便 、透彻地理解与运 用层出不穷的服务?

所有这些问题的答案就是--云计算！！！

在“云计算”中，用户所面对的不再是真实的 物理设备 ，不再是针对某一用户而设计，而是可以为多个用户（租户） 服务 。具体的计算环境、信息存储都在 云端

（2）模式

云计算是一种计算模式，它是将计算与存储资源、软件与应用作为服务，通过网络提供给用户

用户可以像使用水、电一样按需购买和使用云计算资源

（3）分类 

IaaS —基础设施即服务，只涉及到租用硬件，是一种最基础的服务

PaaS —平台即服务，已经从硬件的基础上，租用一个特定的操作系统与应用程序，来自

己进行应用软件的开发

SaaS —软件即服务，在云平台提供的定制软件上，直接部署自己的应用系统

云计算分类

分类	服务类型	运用的灵活性	运用的难易程度
基础设施云 IaaS	接近原始的计算 存储能力	高	难
平台云 PaaS	应用的托管环境	中	中
应用云 SaaS	特定功能的应用	低	易

（4）特征

（5）优势

1.优化产业布局

云计算促使IT从以前那种自给自足的作坊模式， 转化为具有规模化效应的工业化运营，一些小规模的 单个公司专有的数据中心将被淘汰，取而代之的是规 模巨大而且充分考虑资源合理配置的大规模数据中心。

2.推进专业分工

云计算提供商普遍采用大规模数据中心，比中小 型数据中心更专，管理水平更高，提供单位计算所需 的成本更低廉； 同时，专业的云计算提供商可以有更多的科研和 经费投人来推动数据中心的技术革新。

3.提升资源利用率

4.减少初期投资

云计算帮助用户降低IT成本体现在两个方面：

第一，用户不再需要进行巨大的一次性IT投资，彻 底省去了购置、安装、管理软、硬件的费用，因为 可以从云计算提供商那里租用这些IT基础设施；

第二，用户在使用这些IT资源时，可以按照自己的 实际使用量付费 ， 这种在类型和时间上更加细粒度 的计费模型将有助于用户进一步降低IT成本。

5.降低管理开销

在虚拟化技术的支持下，Web应用可以被 做成虚拟器件，当需要启动服务的时候，被快

速部署到云计算环境中； 当服务不再需要时，可以取消部署以释放占 用的资源。可见，云计算可以在软件和解决方 案等不同层次提供极大的灵活性与自动化。

（6）体系结构

（7）服务流程

• 物联网设备 深入人类生活各个角落，实现感知功能的大范围覆盖

• 云计算技术 利用高性能与大规模的服务器集群，实现对海量数据的快速处理

• 物联网云平台 作为物联网设备与云服务的桥梁，结合二者的优势，向下管理各种边缘设备、向上为云服务提供各种帮助

5.致谢

 后续会陆续更新分享物联网技术课程相关知识，大家可以关注留言哈！希望可以和大家一起学习物联网技术，感受物联网技术的魅力！作者水平有限，不足之处还请大家批评指正！希望能和大家一起进步哟

                        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​