- 博客(2)
- 收藏
- 关注
RSS订阅原创 CSV文件导入Hive出现中文乱码问题
在将CSV文件数据导入hive数据仓库时出现中文乱码问题，现将解决方案记录下1， 先将CSV文件编码设置为UTF-8格式2， 创建hive表设置'serialization.encoding'='GBK'如果表已存在则执行alter table TMP.SAMPLE_TABLE set SERDEPROPERTIES('serialization.encoding'='GBK')CR...
2020-05-07 18:17:08
1426
原创 Spark Sql 小文件问题
使用Spark Sql APIs 处理数据容易产生生成大量小文件，小文件问题也是在分布式计算中常见的问题。一般有三种方法来处理这类问题：设置spark.sql.shuffle.partitions采用coalesce(num)对数据集repartition使用Spark Sql Adaptive Executionspark.sql.shuffle.partitions 参数通过在处...
2020-04-14 18:46:11
871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人