- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark DataFrame 多列同时重命名
我们遇到这样一个问题，1 先生成一个包含所有预置字段的DataFrame（此时的字段名称是英文的）2 根据传入的条件动态组合字段从1中的大的DataFrame 里 select的到想要的字段3 但是我想存入的csv文件中要有中文表头4 遇到的问题是：使用sql 拼接然后as 取别名为中文，会报出不支持所以想到如下的方法来解决：package ezr.df.drilli...
2020-01-14 22:40:41
4163
原创 spark 保存文件到hdfs,自己指定文件名称
spark 输出文件的默认文件名 ：part-000xxxpart-000xxx比如：代码：import org.apache.spark._import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat/** 第一步： * 自定义类继承MultipleTextOutputFormat * ...
2020-01-13 20:50:26
7189
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人