csv转为utf8编码_DuckDB批量转CSV为Parquet

最新推荐文章于 2024-06-01 09:21:54 发布

药罐子千里冰封

最新推荐文章于 2024-06-01 09:21:54 发布

阅读量549

点赞数

文章标签： csv转为utf8编码

本文链接：https://blog.csdn.net/weixin_28783937/article/details/112193470

版权

本文介绍了如何使用DuckDB将大量CSV文件批量转换为Parquet格式，重点在于处理非UTF8编码的问题。通过Python脚本和DuckDB的命令行工具，可以方便地完成转换工作，同时提到了文件编码转换的工具和注意事项。

摘要由CSDN通过智能技术生成

Why DuckDB系列：

昨天文章里提到的AirOnTimeCSV.zip包含了303个csv文件，使用Spark可以方便地将它们转为parquet存储，如果不巧你不熟悉Spark，那也没有关系，试试DuckDB的强大功能。

DuckDB支持输出csv和parquet，代码如下，

copy (select * from tbl) to 'tbl.parquet' (format 'parquet')copy (select * from tbl) to 'tbl.csv' (format 'csv')

所以单个csv转parquet可以这样实现，

copy (select * from read_csv_auto('AirOnTimeCSV/airOT200103.csv')) to'airOT200103.parquet' (format 'parquet')

那AirOnTimeCSV有303个

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

关注关注