pandas处理parquet timestamp出的车祸

最新推荐文章于 2024-02-14 23:30:01 发布
最新推荐文章于 2024-02-14 23:30:01 发布
阅读量140 收藏
点赞数 1
文章标签： pandas spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nickname_li/article/details/132433400
版权

问题

要对parquet文件进行匿名化处理，需要读写parquet文件，我用了pandas库进行处理，但是遇到了timestamp精度的问题。当时以为只是简单的精度截断，不影响最终效果，所以没太在意，结果截断之后不能用spark读取了，因为spark无法读取早于1900年的timestamp，而截断导致9999-m-d变成了1816-m-d。
说来轻松，但是定位bug到这里还是费了亿番功夫。测试发现使用pandas和pyarrow都存在这样的问题。使用了参数allow_truncated_timestamps，这会导致截断。但是使用了use_deprecated_int96_timestamps仍然会导致截断，不清楚具体原因

结论

用spark处理parquets

ColorfulChicken
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
java读parquet文件乱码,Hadoop系统Parquet文件的Timestamp类型的时区问题
weixin_28987465的博客
03-16 455
Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如果存和读取都是用Hive的话，时间不会有任何的问题。上述说的是用Parquet文件来存取时间格式流程，如果是存成普通的文本文件的话，存取都不会进行任...
pandas高效读取大文件(csv)方法之-parquet
ningyanggege的博客
01-22 6831
加载csv数据内存溢出及加载速度过慢的方法
【python】pyarrow.parquet+pandas：读取及使用parquet文件
最新发布
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
02-14 7265
本文介绍了如何使用pyarrow.parquet+pandas库操作Parquet文件
关于pandas&python读取parquet文件
Lian_Ge_Blog的博客
07-26 4911
1 如何获取python包的历史版本 2 如何读取parquet文件
pandas parquet文件读取pyarrow、feather文件保存与读取；requests 或wget下载图片文件
weixin_42357472的博客
01-11 5193
安装 fastparquet哭，需要安装python-snappy ,一直安装错误，所以使用了pyarrow pip install pyarrow 参考：https://arrow.apache.org/docs/python/ import glob import pandas as pd import pyarrow.parquet as pq aaaaa = glob.glob(r'C:\Users\lo理\oss数据\*') kkk = [] for i in aaaaa: print
pandas中Timestamp类用法详解
09-21
在Python的pandas库中，Timestamp是一个非常重要的类，它用于表示特定的日期和时间点。Timestamp类提供了丰富的功能，可以方便地处理日期和时间数据，是数据分析中不可或缺的一部分。以下是对pandas中Timestamp类的...
pandas实现将日期转换成timestamp
09-18
在Python的Pandas库中，处理时间序列数据是一项常见的任务，而将日期转换为Unix时间戳（timestamp）是其中的一个重要环节。Unix时间戳是从1970年1月1日（UTC/GMT的午夜）开始所经过的秒数，不考虑闰秒。在本文中，...
Python之 Pandas数据处理
01-24
在Python的世界里，Pandas库是进行数据处理和分析的核心工具，尤其适合初学者和专业人士。Pandas提供了高效且易用的数据结构，如DataFrame和Series，使得数据操作变得简单直观。 1. **Pandas库的安装与数据读写** ...
Pandas数据处理（一）
12-23
Pandas数据处理（一） import pandas as pd import numpy as np #利用numpy生成一组DataFrome数据 df=pd.DataFrame(np.arange(16).reshape(4,4)) print(df) –out 0 1 2 3 0 0 1 2 3 1 4 5 6 7 2 8 9 10 11 3 12 13 ...
python pandas时序处理相关功能详解
09-19
Python的Pandas库在数据处理领域有着广泛的应用，特别是在时序数据分析中，它提供了丰富的功能。本篇文章将深入探讨Pandas中的时序处理相关功能，包括时间序列的创建、字符串与时间戳的转换以及时间戳的加减操作。 ...
pandas之pd.read_parquet()和pd.to_parquet()介绍
weixin_46713695的博客
07-22 5461
python之pd.read_parquet()和pd.to_parquet()介绍
python读parquet文件 pandas读parquet文件
热门推荐
Learning
05-08 2万+
用python读parquet格式的文件
更高效的利用Jupyter+pandas进行数据分析，6种常用数据格式效率对比
韩的博客
10-25 1166
在使用Python进行数据分析时，Jupyter Notebook是一个非常强力的工具，在数据集不是很大的情况下，我们可以使用pandas轻松对txt或csv等纯文本格式数据进行读写。 然而当数据集的维度或者体积很大时，将数据保存并加载回内存的过程就会变慢，并且每次启动Jupyter Notebook时都需要等待一段时间直到数据重新加载， 这样csv格式或任何其他纯文本格式数据都失去了吸引力。 本文将对pandas支持的多种格式数据在处理数据的不同方面进行比较，包含I/O速度、内存消耗、磁盘占用空间等指标，
pandas读取parquet报错
追梦小狂魔的博客
03-06 1824
安装pyarrow库即可 pip install pyarrow
理解parquet及其生态
漫步量化
08-14 2626
Apache Parquet Wikipedia Official site From wikipedia, Apache Parquet is a free and open-source column-oriented data storage format of the Apache Hadoop ecosystem. History The open-source project to build Apache Parquet began as a joint effort be..
SparkSQL创建RDD：<5>读取parquet文件创建DataFrame【Java，Scala纯代码】
wyqwilliam的博客
08-05 1755
注意： 可以将DataFrame存储成parquet文件。保存成parquet文件的方式有两种 df.write().mode(SaveMode.Overwrite)format("parquet")                                     .save("./sparksql/parquet"); df.write().mode(SaveMode.Overwri...
pandas—pandas.read_parquet
柳杰的博客
01-19 8834
文章目录 pandas.read_parquet(path, engine='auto', columns=None, use_nullable_dtypes=False, **kwargs) 描述 从文件路径加载一个parquet对象，返回一个DataFrame 参数 path : str, path object or file-like object 文件路径 engine : {‘auto’, ‘pyarrow’, ‘fastparquet’}, default ‘auto’ 如果为“自
使用python编写csv转parquet脚本
vah101的专栏
09-22 5148
from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql.types import * def parse(line):     items = line.split(",")     return (long(items[0]), items[1], float(it
python读取hdfs上的parquet文件以及python访问hdfs HA的三种方法
haveanybody的博客
04-13 1万+
python读取hdfs上的parquet文件 在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)： 1、安装anaconda环境。 2、安装hdfs3。 conda install hdfs3 ...
pandas读取parquet
09-10
你可以使用pandas库中的read_parquet函数来读取parquet文件。以下是一个示例代码： ```python ...使用read_parquet函数读取parquet文件后，你可以像操作普通的DataFrame一样对数据进行处理和分析。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值