Spark大数据
卓玛cug
这个作者很懒,什么都没留下…
展开
-
pyspark使用教程(一)
使用Pyspark教程,参考《Spark快速大数据分析》 1.Spark背景 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce...原创 2019-03-18 20:18:00 · 28228 阅读 · 6 评论 -
pyspark使用教程(二)
主要是Spark实践部分 一、RDD批处理 参考https://blog.csdn.net/u013719780/article/details/51768720 运行环境:个人电脑 from pyspark import SparkConf, SparkContext # import matplotlib.pyplot as plt # from matplotlib.pyplot ...原创 2019-03-18 20:48:13 · 1767 阅读 · 0 评论