博客专栏  >  云计算/大数据   >  spark私房菜

spark私房菜

介绍spark框架、调优以及学习路线

关注
3 已关注
6篇博文
  • 百亿级日志处理稳定性保证的一些技巧

    为了给各个业务出报表,我们每天会处理几百亿条原始日志。例行任务用MR/Spark程序编写,为了保证各个业务线在上班前正常看到数据,对例行任务的稳定性提出了要求。由于我们会依赖很多中间层数据,集群偶尔异...

    2017-06-22 18:51
    174
  • scala代码格式化

    开发工具intellij插件Scala、Scalafmt 配置文件( ~/.scalafmt ):--style defaultWithAlign --maxColumn 120 --contin...

    2016-11-25 18:00
    963
  • Spark学习资料

    视频DataBricks出品的Spark入门视频(强推): https://www.edx.org/course/introduction-spark-uc-berkeleyx-cs105x ht...

    2016-09-20 20:28
    515
  • Spark编程技巧

    Spark是一种强烈依赖内存的计算框架,结合其运行流程,可以有很多可以调优的地方用reduceByKey 替代groupByKey这两个转换都有shuffle过程发生,且都类似map reduce,但...

    2016-09-20 20:00
    520
  • spark运行方式及其常用参数

    本文将介绍spark的几种运行方式,及常用的参数yarn cluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了,后面的运行脚本会省略spark-su...

    2016-09-19 18:27
    434
  • spark必须知道的几个观点

    executor对应container内存executor对应的内存由两部分组成: –exuecutor-memory控制了堆的大小 –spark.yarn.executor.memoryOver...

    2016-09-19 18:57
    323

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部