![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
CodeCold
这个作者很懒,什么都没留下…
展开
-
Spark Programming Guide (Python) Spark编程指南 (一)
PySpark编程前的细节: 1. 首先对PySpark输出内容进行简化:Spark(和PySpark)的执行可以特别详细,很多INFO日志消息都会打印到屏幕。为了减少Spark输出,可以设置/usr/local/spark下的log4j。首先,拷贝一份/usr/local/spar/conf/log4j.properties.template文件,去掉“.template”扩展翻译 2016-05-15 17:19:52 · 861 阅读 · 0 评论 -
Spark Programming Guide (Python) Spark编程指南 (二)
原始版本参见:http://cholerae.com/2015/04/11/-%E7%BF%BB%E8%AF%91-Spark%E7%BC%96%E7%A8%8B%E6%8C%87%E5%8D%97-Python%E7%89%88/对部分内容有修改,恕本人水平有限,如有错误,在所难免。PySpark编程指南(译): 1. 概述:a) 从高层次上来看,每一个Spa转载 2016-05-15 17:24:03 · 1711 阅读 · 0 评论 -
Spark搭建互联网资源汇总
以下所有资源均亲测可用。本人实验环境为:ubuntu-14.04.1-desktop-i386CentOS-6.5-i386hadoop-2.7.2scala-2.10.3spark-1.6.0-bin-without-hadoop1. Hadoop伪分布式安装(Ubuntu)http://dblab.xmu.edu.cn/blog/原创 2016-05-15 19:32:37 · 669 阅读 · 0 评论 -
Spark Programming Guide (Python) Spark编程指南 (三)
原始版本参见:http://cholerae.com/2015/04/11/-%E7%BF%BB%E8%AF%91-Spark%E7%BC%96%E7%A8%8B%E6%8C%87%E5%8D%97-Python%E7%89%88/对部分内容有修改,恕本人水平有限,如有错误,在所难免。1. 打印出RDD中的元素a) 一个常见做法是试图通过如下语句打印出RDD中每一个元素转载 2016-05-15 20:54:07 · 853 阅读 · 0 评论