spark
getyou123
这个作者很懒,什么都没留下…
展开
-
SPARK学习笔记总结
Hadoop可以完成项目的功能实现,spark是hadoop的功能优化实现,spark使用的内存基于内存进行计算,一个jar包中有很多任务,特点是:迭代式计算(后一个job依赖前一个job记过)和交互式数据挖掘(shell)。spark被看成是一整套的大数据处理的通用处理引擎,是一套大数据的处理方案一个大的软件栈,在各个方面都可以基于此进行实现spark中的角色:集群中的角色:master...原创 2019-07-15 22:07:41 · 228 阅读 · 0 评论 -
记一个使用SparkSession的错误(构造sparksession时候的getOrCreate的错误)
首先是错误输出:19/09/20 14:12:40 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.101.1, 56307, None)19/09/20 14:12:40 INFO BlockManagerMasterEndpoint: Registering block man...原创 2019-09-20 19:57:24 · 8043 阅读 · 3 评论