spark
--star
不怕千万人阻挡,只怕自己投降。
展开
-
spark测试
Spark WordCount实验。原创 2023-04-18 08:40:57 · 210 阅读 · 0 评论 -
spark -chap01简介与运行原理2
数据可以从许多来源Kafka,Flume,Twitter,ZeroMQ, Kinesis,TCP sockets并且可以使用复杂的算法和高级功能表示处理Map,Reduce,Join和Window。MLlib中已经包含了一些通用的学习算法和工具,如:分类、回归、聚类、协同过滤、降维以及底层的优化原语等算法和工具。spark.ml包中提供的构建机器学习工作流的高层次的API。在Graphs和Graph-parallel并行计算中是一个新的部分,GraphX是Spark上的分布式图形处理架构,可用于图表计算。原创 2022-09-05 15:50:39 · 558 阅读 · 0 评论 -
Spark--chap01简介与运行原理
Spark是一个大规模数据处理的统一分析引擎。原创 2022-08-29 16:58:14 · 356 阅读 · 0 评论