python实现百万级大数据处理后引发对数字化建造的思考?

        最近在工作中一直在思考数字化智能建造,既然谈起“数字化“,顾名思义数字的作用就不言而喻了。对于施工现场而言,数

字化中的"数字"的来源可以通过手工录入、传感器导入,但是更多还是施工人员手工录入数据为主。数据录入后,会通过各种平

台汇总统计后,呈现在我们的面前;但是,问题来了,如何将海量的数据通过各种索引、连接、算法等方式将百万级体量的数据

中提炼出有用的数据或是一些规律性的数据,往往这些数据可以对决策提供有利的数据支持,同时也可以从海量数据中发现业务

中的规律,我觉得这是数字化的一个非常重要的体现。数字化建造非一日之功,也非一时之功,除了需要清晰的战略规划、领导

者支持,更需要大家的共同参与方能完成这一目标!

举例:(编程实现)下面我会通过python编写代码,实现100万行数据中抽取满足一定条件的数据。

业务需求:在一张数据表中,具有100万行数据,同时具有四列,我需要根据A列数据中索引提交,求得C列相应的数据,并自动

实现复制粘贴到新数据表中。

目标:通过对海量大数据进行处理,对大数据分析处理后,可以发现规律性数据,从而可以对工作方式,工作方法等进行改进升级、也可以对管理者决策提供数据支持。

实现代码:

# Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。
# 以下截取部分代码
import pandas as pd
import xlrd

path = 'c:2.xlsx'  # 文件路径
data = pd.DataFrame(pd.read_excel(path))  

result = data.loc[data['DisplayName'] == '轴-02-YX']    # 定位数据后,存为list信息
list_row = []
list_row = result['DataValue']  # 数据处理后提炼出需要的数据
list_row.to_excel('c:4.xlsx', encoding='utf-8', index=False)  # 自动运维

因水平有限,存在不对的地方希望大家能够批评指正。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南方小糊涂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值