- 博客(1)
- 收藏
- 关注
RSS订阅原创 spark的使用
Spark简介 spark是通过scala进行编写的，是一个快速，通用的大规模搜索引擎，与hadoop的MR类似，但是spark减少了shuffle过程来达到快速处理的效果从而可以实现数据的实时流处理，Spark Streaming将流式计算分解成一系列短小的批处理计算，并且提供高可靠和吞吐量服务。值得说明的是，无论是Spark SQL、Spark Streaming、GraphX还是MLlib，都可以使用Spark核心API处理问题，它们的方法几乎是通用的，处理的数据也可以共享，不仅减少了学习成本，.
2021-09-13 16:16:14
1182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人