pyspark学习
文章平均质量分 85
S L N
这个作者很懒,什么都没留下…
展开
-
PySpark学习(二)概念
Apache Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库 Spark专注于计算引擎,从存储系统加载数据并对其执行计算,加载结束时不负责永久存储,可以将许多种类型的存储系统与Spark结合使用。 Hadoop包括一个存储系统(HDFS)和计算系统(MapReduce),它们紧密集成在一起,无法运行独立于HDFS的MapReduce系统。Spark可以在Hadoop存储上运行,也可以应用于其他存储系统。 分布式:一个业务拆分成不同的子业务模块,部署在不同的机器上。 集群:同一个业务部署原创 2021-05-23 21:07:24 · 145 阅读 · 0 评论 -
PySpark学习(一)Win环境 spark python+Anaconda 安装
spark学习(一)Windows10单击+python安装 参考: https://blog.csdn.net/SunChao3555/article/details/84202769?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-b原创 2020-10-15 19:38:34 · 237 阅读 · 0 评论