用 Python 简化数据处理流程的 workflow 及简单示范

本文介绍了如何使用Python替代传统的手动流程来处理数据和绘图,特别是对于大量数据和多参数计算场景。通过Python读取CSV文件,进行数据处理和绘图,可以提高效率和一致性。尽管初期设置可能需要更多时间,但后期修改和更新将变得快速简便,减少了在不同软件间转换的繁琐步骤。
摘要由CSDN通过智能技术生成

注1:本文同步也发表在我的独立博客中。

注2:本文所述方法肯定不是最简单的,但对我这非编程相关专业的人来说已经提高很多效率了。如果你有更好的办法,欢迎留言。

如果同样的一个程序,改变一系列参数,分别计算结果,我一般选择把这个程序复制很多份,放在不同的文件夹里,然后写几个批处理文件(写几个是为了能同时几个一起算),按一定的次序分别执行它们,并把结果保存的相应的目录。保存的结果有很多时候是逗号分隔的csv文件,这时候如果想作图的话,就需要从每个文件中拷出数据来,然后复制到 Origin 中进行绘图。

这样的 workflow 在对付我之前面对的多数问题都 ok,但如果保存的数据量大了,尤其是每一个 csv 文件中的列数多了(比如10列以上),或者 copy 出来的数据需要进行修改、筛选等复杂操作时,就显得有些繁琐和吃力了。相比之下,用 Python 来读取数据,并进行后续的处理和绘图就会简单一些,并且有更好的一致性。

举例来说,比如按不同的参数,跑了10组结果,分别存在 param1~param10的文件夹中,每个文件夹中都有 result.txt 的文件。按我原来的做法,就是分别打开每个文件夹,把所有的数据拷到一个大的 Excel 表中,进行了后处理之后,再复制到 Origin 中作图。这样的做法,会有几个潜在的问题。

    <
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值