最近在工作中一直在思考数字化智能建造,既然谈起“数字化“,顾名思义数字的作用就不言而喻了。对于施工现场而言,数
字化中的"数字"的来源可以通过手工录入、传感器导入,但是更多还是施工人员手工录入数据为主。数据录入后,会通过各种平
台汇总统计后,呈现在我们的面前;但是,问题来了,如何将海量的数据通过各种索引、连接、算法等方式将百万级体量的数据
中提炼出有用的数据或是一些规律性的数据,往往这些数据可以对决策提供有利的数据支持,同时也可以从海量数据中发现业务
中的规律,我觉得这是数字化的一个非常重要的体现。数字化建造非一日之功,也非一时之功,除了需要清晰的战略规划、领导
者支持,更需要大家的共同参与方能完成这一目标!
举例:(编程实现)下面我会通过python编写代码,实现100万行数据中抽取满足一定条件的数据。
业务需求:在一张数据表中,具有100万行数据,同时具有四列,我需要根据A列数据中索引提交,求得C列相应的数据,并自动
实现复制粘贴到新数据表中。
目标:通过对海量大数据进行处理,对大数据分析处理后,可以发现规律性数据,从而可以对工作方式,工作方法等进行改进升级、也可以对管理者决策提供数据支持。
实现代码:
# Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。 # 以下截取部分代码 import pandas as pd import xlrd path = 'c:2.xlsx' # 文件路径 data = pd.DataFrame(pd.read_excel(path)) result = data.loc[data['DisplayName'] == '轴-02-YX'] # 定位数据后,存为list信息 list_row = [] list_row = result['DataValue'] # 数据处理后提炼出需要的数据 list_row.to_excel('c:4.xlsx', encoding='utf-8', index=False) # 自动运维
因水平有限,存在不对的地方希望大家能够批评指正。