![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 53
朱云婷�
这个作者很懒,什么都没留下…
展开
-
hive表orc文件结构解析
orc文件提供了多级别的索引:文件级别file footer-,条带级别stripe,行级别...提高了查询效率。原创 2023-03-03 17:52:39 · 859 阅读 · 0 评论 -
spark数据传输报错:Too many versions
问题解释:太多版本了,即:太多批次了。写太快了,控制写入速率,spark默认每一批次数据量为1000,可添加参数:target.batchSize=50000,意思是5万条数据为一批次传输。关键句:"Message": "Too many versions.spark数据传输报错。原创 2023-03-02 11:11:19 · 514 阅读 · 0 评论