随笔
我的青柠茶
不抛弃,不放弃...
展开
-
Spark架构原理
Dirver(进程):我们写的Spark程序就在Dirver上,由Dirver进程执行,Dirver在Spark集群节点之一 Master(进程):资源的调度和分配,还有集群的监控等等 Worker(进程):用自己的内存,存储RDD的某个或某些partition,另一个启动其他进程和线程,对RDD上的partition进行版型的处理和计算 Executor(进程):执行负责执行对RDD的pa...原创 2019-03-11 11:07:50 · 100 阅读 · 0 评论 -
Spark-------初识
Spark:通用的大数据计算框架,主要用于大数据的计算,而Hadoop主要用于大数据的存储以及资源调度。HDFS:针对大数据的存储系统MapRedure:针对大数据的计算框架Hive:针对大数据的查询框架(sql查询)Hbase:实时/准实时YARN:资源调度Spark可以针对HDFS进行大数据的批处理的计算,可以针对Hive进行SQl查询,核心就是一种新型的大数据计...原创 2019-03-11 11:11:17 · 144 阅读 · 0 评论 -
更换CSDN博客皮肤
1.在博客设置页面F12,如下图,选中博客皮肤:2.把你喜欢的皮肤的value和ID与当前模板value和ID对换,如下图:3.点击保存之后刷新页面,如下图:...原创 2019-08-12 10:09:48 · 150 阅读 · 0 评论