![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
parquet
文章平均质量分 78
dashabiooo
这个作者很懒,什么都没留下…
展开
-
解压parquet格式文件到text
方法一:spark python实现import sysfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import SQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc = SparkContext(appName="Transform Pq to Csv")...2016-11-15 13:30:22 · 2860 阅读 · 0 评论 -
数据存储text转parquet及引发的OOM问题
1.数据转parquet的后效果 table1为textfile格式存储的表,分区20161122转换之前大小约400M,分别以parquet无压缩,parquet snappy压缩和parquet gzip压缩,转换到parquet格式的表table1_parquet的20161122,20161123,20161124三个分区。(1)insert into table1_p...原创 2016-12-04 21:59:56 · 847 阅读 · 0 评论