- 博客(2)
- 收藏
- 关注
原创 CSV文件导入Hive出现中文乱码问题
在将CSV文件数据导入hive数据仓库时出现中文乱码问题,现将解决方案记录下1, 先将CSV文件编码设置为UTF-8格式2, 创建hive表设置'serialization.encoding'='GBK'如果表已存在则执行alter table TMP.SAMPLE_TABLE set SERDEPROPERTIES('serialization.encoding'='GBK')CR...
2020-05-07 18:17:08 1515
原创 Spark Sql 小文件问题
使用Spark Sql APIs 处理数据容易产生生成大量小文件,小文件问题也是在分布式计算中常见的问题。一般有三种方法来处理这类问题:设置spark.sql.shuffle.partitions采用coalesce(num)对数据集repartition使用Spark Sql Adaptive Executionspark.sql.shuffle.partitions 参数通过在处...
2020-04-14 18:46:11 899
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人