python导入dat数据_收好Python代码,导入项目数据不费力

1a13b34cd8792cf54511b73eb0967751.png

8180be4362022b9dbd4f0514170727b4.png

Python是最近几年比较火的编程语言,而且Python绝不是人工智能的专属。作为项目管理人员,如何高效地使用Python来提高项目人员的工作效率正在成为一种趋势。用技术方式沟通,有时也能起到团队沟通的奇效。

2019年,我参与了一个外包的项目。当时该项目处在测试→上线的阶段,其中有2项基础数据超过了100万行。其实百万级真的不算是很大的数据,但是时间真禁不起管理规范和技术的冲突消耗,关于如何导入正式环境,几个开发在那各执一词。为了保证项目进度,我在周末用Python写了一段将excel数据导入数据库的代码:

b3ed3f1a2b8722fe552ce246a59bff3e.png

7e4971b13d6acbdef331b60b93ae2ef0.png

这段代码还可以校验导入数据:

1、某个字段列的值为空,则不允许导入;

2、某行数据有误,则提示数据行值,方便定位数据问题。

11206c1d7cafb6a91abd0596992ef426.png

经过测试,这段代码在本地导入能够达到5000行/分钟,当然数据量大的情况下,可以考虑用多进程/多线程的方式同步导入多份excel的数据。

到了周一,我把代码发给开发主管,要求他立即将基础数据导入测试环境,至于如何导入正式环境,可以在这段测试的时间里再讨论。开发们不再争执了,他们开始认真研究下一步如何把测试数据库中的数据导入正式环境。作为管理人员,争取众人的信任和合作是必要的,为了能让团队成员们更好地交流合作,有时候用一些技术手段会起到积极的效果。

a31278e82b56932db7e21787acdf9009.gif

如果觉得有用的话,请帮忙点赞、关注、收藏哦(如需要以上分享的代码,可先关注再私信我,已关注的直接私信就行了),不定期会更新各种有用的项目管理知识和推荐各种简单有用的项目管理工具。感谢您的支持!!!

79cf452d253a85b128aa62ae21d5715e.png
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值