- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark环境搭建
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行。
2023-03-14 18:23:43
612
原创 Spark简介
但是Spark是基于内存的，所以在实际的生产环境中，由于内存的限制，可能会由于内存资源不够导致Job执行失败，此时，MapReduce其实是一个更好的选择，所以。Spark Core中提供了Spark最基础与最核心的功能，Spark其他的功能如：Spark SQL，Spark Streaming，GraphX,MLlib都是在Spark Core的基础上进行扩展的。Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。
2023-03-14 18:17:45
247
原创 浅谈大数据技术与未来方向
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。“数据量巨大就是大数据！
2023-03-14 18:10:51
1007
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人