Spark
文章平均质量分 72
Swt_BigData
天道酬勤。也许你付出了不一定得到回报,但不付出一定得不到回报
展开
-
使用Zeppelin编写Spark读取CSV文件,统计结果并存放Mysql
在我们机器上编写一个CSV文件:[hadoop@Master spark]$ vi data.csv内容:大区,名称,充值金额c,u9,168c,u7,81b,u2,124c,u2,154a,u5,75b,u2,97a,u4,162c,u10,145b,u3,25d,u9,165b,u8,19d,u9,130b,u10,183d,u10,126a,u3,11...原创 2018-10-25 20:30:57 · 2343 阅读 · 0 评论 -
Spark基础入门教程(一):原理架构
Spark是什么?Spark是用来实现快速而通用的集群计算的平台。在此之前我们学过了Hadoop中的MapReduce,那么就以这两个为例比较一下:MapReduce:仅仅只支持Map和Reduce两种模式处理效率偏低,1)具体体现在Map的中间结果是写入到磁盘中,Reduce写HDFS中,多个MapReduce与HDFS交互数据频繁,认读调度较大。2)没有办法充分...原创 2018-11-06 18:28:18 · 303 阅读 · 0 评论