ChatGPT如何提升数据开发效率

目录

一、ChatGPT介绍

二、ChatGPT数据应用场景

A、Pyspark代码样例生成

B、Python设计模式推荐

C、Python代码修复能力

D、异常代码的检测​编辑

E、测试数据内容生成

F、数据分析能力

G、报告生成展示

三、结语 

---

一、ChatGPT介绍

1、GPT是什么：大型语言预训练模型、具有语言交互能力、提高工作效率工具。

2、GPT演进过程：

ChatGPT和ChatGPT-4区别：

总结：如果你需要非常精确的模型调优和图像识别，GPT-4是可满足，否则普通人GPT-3就足够用了。

 3、GPT能辅助数据开发做什么：

a、规则性代码类生成：正则表达式、API代码生成、代码优化修复等。

b、测试数据内容生成：单表Mock数据生成、多表Mock数据生成，数据修复能力等。

c、数据分析报告生成： 简单数据样例内容分析【无法分析Excel内容，涉及数据安全】

二、ChatGPT数据应用场景

A、Pyspark代码样例生成

语言输入：

利用pyspark完成开窗排序代码的开发，有如下要求：

1、构建输入测试数据 col1、col2、rank，rank是数字类型，col2是商家名称，col1是商家ID。

2、根据col1、col2 完成开窗排序代码的开发，rank为排序字段，请使用开窗函数row_number()降序排序，并输出排序结果。

体验总结：

优点：经过2~3次的描述语言修复，ChatGPT可以完成要求生成的Demo代码样例。

缺点：需要结构化语言的描述并且具有一定的研发背景，了解背后的技术实现。

B、Python设计模式推荐

1、推荐适合高并发场景的单例模式【完成任务】

2、对于扩展类的场景也给出了建议【进阶任务】

3、提供代码解释和代码样例【仅供参考】

 代码样例输出：

C、Python代码修复能力

语言输入：

代码bug修复需要提供报错信息和源代码一下python3代码报错：ZeroDivisionError: division by zero，请帮我修复并提供最新优化代码，代码如下：

m = 100

for i in range(100):

        print("计算结果：", m/i)

        print("循环次数：", i+1)

缺点：针对代码块的优化，由于数据安全问题无法赋权给ChatGPT，所以具有局限性【包括解释代码】.

 

D、异常代码的检测

 总结：总体来说结果很中肯，基本是网上常见的问题诊断，具有一定的参考建议的。

E、测试数据内容生成

单表和多表测试数据

体验总结：

1、表达不是很清晰的话，需要告知多次GPT才能辅助你生成正确的测试数据。

2、不太适合大批量的数据生成，不如人工写规则生成，或者让GPT给写个规则逻辑。

3、测试的同事其实申请GPT作为辅助工具帮助生成测试数据。

多表关联测试数据生成：

 

F、数据分析能力

制表能力展现：【曲线图和气泡图】

曲线图：【ChatGPT提供Python代码】

数据样本：

气泡图：【ChatGPT提供Python代码】

数据样本：

G、报告生成展示

语言输入：

下述数据描述的是商家"兴隆电商"在2022年1月至2023年3月的配送费和实际跨区率，数据为月粒度的，请帮忙分析数据输出分析报告并给出优化方案，数据中提供了优化后的配送费:

分析结果：

初步给出了比较中肯的回复：

1、有量化的数据输出

2、从跨区率给出优化方案和总结

 继续追问：

上述报告存在问题：

1、配送费不是美元，是人民币

2、能否详细的说下优化物流网络方案

继续追问:

服务KA商家我们还需要从哪些方面降低商家跨区率，因为KA商家都已经在全国部署本地仓，请给出建议？

三、结语 

1、ChatGPT在技术或者基础管理上已基本胜任，但是从创造力、想象力、解决方案制定表现不是很出色。

2、ChatGPT只是新工具时代的变革，它能够帮助很多人从繁琐耗时的工作中脱离出来，将时间献给更有价值的事情。

因此，研发和ChatGPT关系应该是互助的关系，一旦被定位为竞争关系就会很被动，研发更需要关注的是ChatGPT无法完成的方面：创新能力、分析能力、协作能力、解决方案规划能力 等。