spark
关注
分享
扫一扫
000000_cy
本人性格开朗、谦虚、自律、自信、稳重、有活力、有较强的责任感和团体协作精神,工作认真、积极主动，能吃苦耐劳，乐于助人、有较强的上进心、乐于学习新知识。
展开
-
PYTHON_SPARK 基于物品协通过滤推荐算法离线化实现
PYTHON_SPARK 基于物品协通过滤推荐算法离线化实现 本文主要内容 算法介绍 spark介绍 算法实现的基本流程 代码分部详解 完整代码 1. 算法介绍 Wij表示标号i.j物品的相似度。 U(i,j)表示同时对i,j有评分的用户集合 2 . spark介绍 spark算子大致分为两类 1 Transformation 变换/转换算子，这种算子并不提交作业，完成作业过程中间转换处理...原创 2019-02-11 17:42:02 · 278 阅读 · 0 评论 -
Spark-streaming 和spark-sql 基本概念
Spark-streaming 和spark-sql 基本概念 spark-streaming 是spark体系中一个流式处理的框架 spark-core 是核心的计算引擎，streaming是其中一个功能 streaming与storm的区别：storm数据呈水流状，最基本的单位是 tuple。streaming按照时间做了离散化 spark开发的时候，就是开发 RDD的DAG图...原创 2019-05-14 10:44:09 · 961 阅读 · 0 评论