spark
文章平均质量分 85
dashabiooo
这个作者很懒,什么都没留下…
展开
-
spark命令行解析与找不到类scopt.OptionParser
问题一:解析spark-submit命令行参数的时候用到了第三方包scopt,该包需要引入 <dependency> <groupId>com.github.scopt</groupId> <artifactId>scopt_2.10</artifactId> <version>3.2.0</ve...原创 2016-10-12 16:56:08 · 1898 阅读 · 0 评论 -
数据存储text转parquet及引发的OOM问题
1.数据转parquet的后效果 table1为textfile格式存储的表,分区20161122转换之前大小约400M,分别以parquet无压缩,parquet snappy压缩和parquet gzip压缩,转换到parquet格式的表table1_parquet的20161122,20161123,20161124三个分区。 (1)insert into table1_p...原创 2016-12-04 21:59:56 · 856 阅读 · 0 评论