![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bigdata_离线平台
文章平均质量分 61
KeinoJust
敷衍别人就是敷衍自己,如果对自己的输出尚且不认真,那么是没有人愿意停下脚步去欣赏的,你若盛开,蝴蝶自来~
展开
-
【Hive】【Odps】如何将collect_list的结果转化为String
在spark_sql中,将collect_list的类型转化为string,只需要使用cast函数,但是在离线平台中,是不支持Array转化为string,所以需要借助另外一个函数:在聚合字段时,查询时将collect_list前使用concat_ws函数,这样该字段就转化为string了...原创 2022-06-08 21:17:33 · 3279 阅读 · 0 评论 -
【Spark】执行join或者groupby时报错 Futures timed out after [XXX seconds]
使用spark进行大数据分析时遇到的一些问题原创 2022-06-08 21:13:50 · 799 阅读 · 0 评论 -
Hi一起来了解下大数据平台的IP解析吧
大数据平台的离线IP解析本文关键词:背景引入:介绍IP库:缩减IP信息:代码实现:单线程版本:多线程版本:如何ETL:实现离线IP匹配:注册ODPS资源:实现IP配置的UDF:注册函数:调用IP解析方法:本文关键词:阿里大数据计算引擎–【ODPS】又名【MaxCompute】数据仓库,离线批次解析IP地址背景引入:在建设大数据离线平台的过程中,会有一个ETL的过程,这个过程会将ods层数据进行批次的字段解析及复杂的逻辑处理。不同的公司有着不同的业务场景,所以也对应这不同的ETL逻辑,但是不管原创 2021-12-25 11:26:20 · 2315 阅读 · 0 评论