![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
BENULL
blog.benull.top
展开
-
Scala 的几种group集合操作
scala的集合中有如下几种group操作- `groupBy` 按特定条件对集合元素进行分类- `grouped` 将集合拆分成指定长度的子集合- `groupMap` 使用方法按特定条件对集合的元素进行分类并处理每个元素- `groupMapReduce` 使用方法按特定条件对集合中的元素进行分类,分别进行处理,最后将它们reduce原创 2020-12-20 23:29:15 · 1494 阅读 · 0 评论 -
构建基于Spark的推荐引擎(Python)
构建基于Spark的推荐引擎(Python)在学习Spark机器学习这本书时,书上用scala完成,自己不熟悉遂用pyshark完成,更深入的理解了spark对协同过滤的实现。原创 2017-12-19 18:18:07 · 1158 阅读 · 0 评论 -
Flume + Kafka学习——整合Demo
Flume + Kafka学习——整合Demo环境Flume 1.6.0-cdh5.7.0Kafka 0.9.0.0FLume官方文档 Flume1.6.0 User Guide Kafka官网文档 Kafka DocumentationFlume Apache Flume is a distributed, reliable, and availab...原创 2018-03-17 16:59:22 · 1206 阅读 · 0 评论 -
Spark编译
前提在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0,Scala版本为2.11.8更多关于编译Spark2.2.0参见Spark编译官方文档环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Ma...原创 2018-04-18 13:40:11 · 1483 阅读 · 0 评论