物联网环境下数据分析的应用

前记：这是我老婆写的一篇文章，结合了她当前的分析工作和物联网，介绍了物联网环境下数据分析的应用。

物联网概论及国内外研究现状

 “物联网概念”是在“互联网概念”的基础上，将其用户端延伸和扩展到任何物品与物品之间，进行信息交换和通信的一种网络概念。

物联网(Internet of Things)，国内外普遍公认的是MIT Auto-ID中心Ashton教授1999年在研究RFID时最早提出来的。在2005年国际电信联盟(ITU)发布的同名报告中，物联网的定义和范围已经发生了变化，覆盖范围有了较大的拓展，不再只是指基于RFID技术的物联网。

2009年8月，***总理在无锡视察时提出“感知中国”，无锡市率先建立了“感知中国”研究中心，中国科学院、运营商、多所大学在无锡建立了物联网研究院。物联网被正式列为国*五大新兴战略性产业之一，写入了十一届全国人大三次会议政府工作报告，物联网在中国受到了全社会极大的关注。

物联网的概念与其说是一个外来概念，不如说它已经是一个“中国制造”的概念，他的覆盖范围与时俱进，已经超越了1999年Ashton教授和2005年ITU报告所指的范围，物联网已被贴上“中国式”标签。

中国式物联网定义

最简洁明了的定义：物联网(Internet of Things)是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。它具有普通对象设备化、自治终端互联化和普适服务智能化3个重要特征。

其它的定义：物联网指的是将无处不在(Ubiquitous)的末端设备

(Devices)和设施(Facilities)，包括具备“内在智能”的传感器、移动终端、工业系统、楼控系统、*庭智能设施、视频监控系统等、和“外在使能”(Enabled)的，如贴上RFID的各种资产(Assets)、携带无线终端的个人与车辆等等“智能化物件或动物”或“智能尘埃”(Mote)，通过各种无线和/或有线的长距离和/或短距离通讯网络连接物联网域名实现互联互通(M2M)、应用大集成(Grand Integration)、以及基于云计算的SaaS营运等模式，在内网(Intranet)、专网(Extranet)、和/或互联网(Internet)环境下，采用适当的信息安全保障机制，提供安全可控乃至个性化的实时在线监测、定位追溯、报警联动、调度指挥、预案管理、远程控制、安全防范、远程维保、在线升级、统计报表、决策支持、领导桌面(集中展示的Cockpit Dashboard)等管理和服务功能，实现对“万物”的“高效、节能、安全、环保”的“管、控、营”一体化。

“一句式”理解物联网：

把所有物品通过信息传感设备与互联网连接起来，进行信息交换，即物物相息，以实现智能化识别和管理。

物联网的关键技术

在物联网应用中有三项关键技术

1、传感器技术：这也是计算机应用中的关键技术。大*都知道，到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。

2、RFID标签：也是一种传感器技术，RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术，RFID在自动识别、物品物流管理有着广阔的应用前景。

3、嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见；小到人们身边的MP3,大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。

物联网的产业实践的三大方向

全球范围内物联网的产业实践主要集中在三大方向。

何为数据“泛在聚合”意义上的物联网？

第一个实践方向被称作“智慧尘埃”，主张实现各类传感器设备的互联互通，形成智能化功能的网络。

第二个实践方向即是广为人知的基于RFID技术的物流网，该方向主张通过物品物件的标识，强化物流及物流信息的管理，同时通过信息整合，形成智能信息挖掘。

第三个实践方向被称作数据“泛在聚合”意义上的物联网，认为互联网造就了庞大的数据海洋，应通过对其中每个数据进行属性的精确标识，全面实现数据的资源化，这既是互联网深入发展的必然要求，也是物联网的使命所在。

比较而言，“智慧尘埃”意义上的物联网属于工业总线的泛化。这样的产业实践自从机电一体化和工业信息化以来，实际上在工业生产中从未停止过，只是那时不叫物联网而是叫工业总线。这种意义上的物联网将因传感技术、各类局域网通信技术的发展，依据其内在的科学技术规律，坚实而稳步地向前行进，并不会因为人为的一场运动而加快发展速度。

RFID意义上的物联网，所依据的EPCglobal标准在推出时，即被定义为未来物联网的核心标准，但是该标准及其惟一的方法手段RFID电子标签所固有的局限性，使它难以真正指向物联网所提倡的智慧星球。原因在于，物和物之间的联系所能告知人们的信息是非常有限的，而物的状态与状态之间的联系，才能使人们真正挖掘事物之间普遍存在的各种联系，从而获取新的认知，获取新的智慧。

“泛在聚合”即是要实现互联网所造就的无所不在的浩瀚数据海洋，实现彼此相识意义上的聚合。这些数据既代表物，也代表物的状态，甚至代表人工定义的各类概念。数据的“泛在聚合”，将能使人们极为方便的任意检索所需的各类数据，在各种数学分析模型的帮助下，不断挖掘这些数据所代表的事务之间普遍存在的复杂联系，从而实现人类对周边世界认知能力的革命性飞跃。

数据分析概念

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。

物联网环境下的数据分析在工业企业的应用

随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用，尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用，工业企业也进入了互联网工业的新的发展阶段，工业企业所拥有的数据也日益丰富。因此，工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少，某些情况下甚至更为复杂。

工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合，给全球工业带来深刻的变革，创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。

现代化工业制造生产线安装有数以千计的小型传感器，来探测*度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据，利用这些数据可以实现很多形式的分析，包括设备诊断、用电量分析、能耗分析、质量事故分析等。

工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高，大数据分析有以下七大应用。

1.加速产品创新

客户与工业企业之间的交互和交易行为将产生大量数据，挖掘和分析这些客户动态数据，能够帮助客户参与到产品的需求分析和产品设计等创新活动中，为产品创新作出贡献。福特公司是这方面的表率，他们将大数据技术应用到了福特福克斯电动车的产品创新和优化中，这款车成为了一款名副其实的“大数据电动车”。第一代福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中，司机持续地更新车辆的加速度、刹车、电池充电和位置信息。这对于司机很有用，但数据也传回福特工程师那里，以了解客户的驾驶习惯，包括如何、何时以及何处充电。即使车辆处于静止状态，它也会持续将车辆胎压和电池系统的数据传送给最近的智能电话。

这种以客户为中心的大数据应用场景具有多方面的好处，因为大数据实现了*贵的新型产品创新和协作方式。司机获得有用的最新信息，而位于底特律的工程师汇总关于驾驶行为的信息，以了解客户，制订产品改进计划，并实施新产品创新。而且，电力公司和其他第三方供应商也可以分析数百万英里的驾驶数据，以决定在何处建立新的充电站，以及如何防止脆弱的电网超负荷运转。

2.快速产品故障诊断与精确预测

这可以被用于产品售后服务与产品改进。无所不在的传感器、互联网技术的引入使得产品故障实时诊断变为现实，大数据应用、建模与仿真技术则使得预测动态性成为可能。在马航MH370失联客机搜寻过程中，波音公司获取的发动机运转数据对于确定飞机的失联路径起到了关键作用。我们就拿波音公司飞机系统作为案例，看看大数据应用在产品故障诊断中如何发挥作用。在波音的飞机上，发动机、燃油系统、液压和电力系统等数以百计的变量组成了在航状态，这些数据不到几微秒就被测量和发送一次。以波音737为例，发动机在飞行中每30分钟就能产生10TB数据。

这些数据不仅仅是未来某个时间点能够分析的工程遥测数据，而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报，能有效实现故障诊断和预测。再看一个通用电气(GE)的例子，位于美国亚特兰大的GE能源监测和诊断(M&D)中心，收集全球50多个国*上千台GE燃气轮机的数据，每天就能为客户收集10G的数据，通过分析来自系统内的传感器振动和*度信号的恒定大数据流，这些大数据分析将为GE公司对燃气轮机故障诊断和预警提供支撑。风力涡轮机制造商Vestas也通过对天气数据及期涡轮仪表数据进行交叉分析，从而对风力涡轮机布局进行改善，由此增加了风力涡轮机的电力输出水平并延长了服务寿命。

3.工业物联网生产线的大数据应用

现代化工业制造生产线安装有数以千计的小型传感器，来探测*度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据，利用这些数据可以实现很多形式的分析，包括设备诊断、用电量分析、能耗分析、质量事故分析(包括违反生产规定、零部件故障)等。首先，在生产工艺改进方面，在生产过程中使用这些大数据，就能分析整个生产流程，了解每个环节是如何执行的。一旦有某个流程偏离了标准工艺，就会产生一个报警信号，能更快速地发现错误或者瓶颈所在，也就能更容易解决问题。利用大数据技术，还可以对工业产品的生产过程建立虚拟模型，仿真并优化生产流程，当所有流程和绩效数据都能在系统中重建时，这种透明度将有助于制造商改进其生产流程。再如，在能耗分析方面，在设备生产过程中利用传感器集中监控所有的生产流程，能够发现能耗的异常或峰值情形，由此便可在生产过程中优化能源的消耗，对所有流程进行分析将会大大降低能耗。

4.工业供应链的分析与优化

当前，大数据分析已经是很多电子商务企业提升供应链竞争力的重要手段。例如，电子商务企业京东商城，通过大数据提前分析和预测各地商品需求量，从而提高配送和仓储的效能，保证了次日货到的客户体验。RFID等产品电子标识技术、物联网技术以及移动互联网技术能帮助工业企业获得完整的产品供应链的大数据，利用这些数据进行分析，将带来仓储、配送、销售效率的大幅提升和成本的大幅下降。

以海尔公司为例，海尔公司供应链体系很完善，它以市场链为纽带，以订单信息流为中心，带动物流和资金流的运动，整合全球供应链资源和全球用户资源。在海尔供应链的各个环节，客户数据、企业内部数据、供应商数据被汇总到供应链体系中，通过供应链上的大数据采集和分析，海尔公司能够持续进行供应链改进和优化，保证了海尔对客户的敏捷响应。美国较大的OEM供应商超过千*，为制造企业提供超过1万种不同的产品，每*厂商都依靠市场预测和其他不同的变量，如销售数据、市场信息、展会、新闻、竞争对手的数据，甚至天气预报等来销售自己的产品。

利用销售数据、产品的传感器数据和出自供应商数据库的数据，工业制造企业便可准确地预测全球不同区域的需求。由于可以跟踪库存和销售价格，可以在价格下跌时买进，所以制造企业便可节约大量的成本。如果再利用产品中传感器所产生的数据，知道产品出了什么故障，哪里需要配件，他们还可以预测何处以及何时需要零件。这将会极大地减少库存，优化供应链。

5.产品销售预测与需求管理

通过大数据来分析当前需求变化和组合形式。大数据是一个很好的销售分析工具，通过历史数据的多维度组合，可以看出区域性需求占比和变化、产品品类的市场受欢迎程度以及最常见的组合形式、消费者的层次等，以此来调整产品策略和铺货策略。在某些分析中我们可以发现，在开学季高校较多的城市对文具的需求会高很多，这样我们可以加大对这些城市经销商的促销，吸引他们在开学季多订货，同时在开学季之前一两个月开始产能规划，以满足促销需求。对产品开发方面，通过消费人群的关注点进行产品功能、性能的调整，如几年前大*喜欢用音乐手机，而现在大*更倾向于用手机上网、拍照分享等，手机的拍照功能提升就是一个趋势，4G手机也占据更大的市场份额。通过大数据对一些市场细节的分析，可以找到更多的潜在销售机会。

6.产品计划与排程

制造业面对多品种小批量的生产模式，数据的精细化自动及时方便的采集(MES/DCS)及多变性导致数据剧烈增大，再加上十几年的信息化的历史数据，对于需要快速响应的APS来说，是一个巨大的挑战。大数据可以给予我们更详细的数据信息，发现历史预测与实际的偏差概率，考虑产能约束、人员技能约束、物料可用约束、工装模具约束，通过智能的优化算法，制定预计划排产，并监控计划与现场实际的偏差，动态的调整计划排产。帮我们规避“画像”的缺陷，直接将群体特征直接强加给个体(工作中心数据直接改变为具体一个设备、人员、模具等数据)。通过数据的关联分析并监控它，我们就能计划未来。虽然，大数据略有瑕疵，只要得到合理的应用，大数据会变成我们强大的武器。当年，福特问大数据的客户需求是什么？而回答是“一匹更快的马”，而不是现在已经普及的汽车。所以，在大数据的世界里，创意、直觉、冒险精神和知识野心尤为重要。

7.产品质量管理与分析

传统的制造业正面临着大数据的冲击，在产品研发、工艺设计、质量管理、生产运营等各方面都迫切期待着有创新方法的诞生，来应对工业背景下的大数据挑战。例如在半导体行业，芯片在生产过程中会经历许多次掺杂、增层、光刻和热处理等复杂的工艺制程，每一步都必须达到极其苛刻的物理特性要求，高度自动化的设备在加工产品的同时，也同步生成了庞大的检测结果。这些海量数据究竟是企业的包袱，还是企业的金矿呢？如果说是后者的话，那么又该如何快速地拨云见日，从“金矿”中准确地发现产品良率波动的关键原因呢？这是一个已经困扰半导体工程师们多年的技术难题。

某半导体科技公司生产的晶圆在经过测试环节后，每天都会产生包含一百多个测试项目、长度达几百万行测试记录的数据集。按照质量管理的基本要求，一个必不可少的工作就是需要针对这些技术规格要求各异的一百多个测试项目分别进行一次过程能力分析。如果按照传统的工作模式，我们需要按部就班地分别计算一百多个过程能力指数，对各项质量特性一一考核。这里暂且不论工作量的庞大与繁琐，哪怕有人能够解决了计算量的问题，但也很难从这一百多个过程能力指数中看出它们之间的关联性，更难对产品的总体质量性能有一个全面的认识与总结。然而，如果我们利用大数据质量管理分析平台，除了可以快速地得到一个长长的传统单一指标的过程能力分析报表之外，更重要的是，还可以从同样的大数据集中得到很多崭新的分析结果