- 博客(3)
- 收藏
- 关注
RSS订阅原创 SPARK-SQL中join问题
首先抛出Dataset的join算子在spark-sql_2.11 版本 2.3.0中所有重载方法：由于本人公司产品在执行挖掘任务时任务过长，划分stage过多，并且在过程中存在着关联关系，因此不得不进行数据关联。首次本人在编写代码时使用Seq的join方式：Dataset<Row> select = json1.select("id", "callID");Seq&l...
2019-07-04 11:14:11
1798
1
原创 Flink消费Kafka初步了解
这两年一直听说Flink是新一代的流式处理框架，并且今年阿里巴巴还把自己改造后的Blink贡献给Flink，于是研究起了Flink，将工作原Spark看能否重构为Flink。Flink的基本介绍这里就不做过多赘述，自行百度或Flink官网查看。遇到的问题：作为流处理框架，避免不了和各种消息中间件打交道，Kafka就是其中重要的一个。Flink自己提供了一套消费生产者API共基本使...
2019-03-06 16:12:51
1078
原创 如何构建用户画像
目前正好着手准备公司用户画像的筹建，因此会将整个构建用户画像的过程记录下来，记录会将对较杂，后期会统一整理。确定数据来源。公司目前数据来源主要集中在：①用户订单数据②用户基本信息③用户行为信息。继续往下细分为：①酒店订单信息②机票订单信息③签证订单信息④用户账户默认信息⑤产品浏览行为信息等。这里各种信息相互交错，不能直接提供使用，因此需要进行数据清洗和聚合，并且需要统一的用户中心，因此条件就是按照...
2018-06-07 16:40:56
3290
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人