数据处理
九叶不睡觉
拔刀吧
展开
-
python3字符串字节转码相关问题
这得从一张图片说起: 就长上面这个样子,对了,不能正常显示的是中文。 身为老司机,一看就是字符编码的问题。 然后果断检查输入数据源什么编码,然后自信的.decode()。 然而并没有什么卵用,我记错了?测试一下: 没毛病啊,为毛不行? 去冲冲浪详细了解下是什么鬼: 首先了解下数据前面加u,r,b的含义 u/U:表示unicode字符串 :不是仅仅是针对中文, 可以针...原创 2018-08-03 12:04:36 · 1331 阅读 · 0 评论 -
spark处理hive数据排序问题
新入坑数据挖掘,从一段spark入门级数据处理代码开始。涉及语言Scala、Sql,并涉及将DataFrame转换为Rdd,实现的是从hive读取数据,并根据字段进行分组排序的功能,代码如下:val df_sr = spark.sql(s"""SELECT pushConfigId, updatedFROM default.ods_flow_rye_PushScene...原创 2019-01-30 16:22:10 · 946 阅读 · 2 评论