软件工程小施同学 的专栏

Spark是什么？ 既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数

及“跑步点亮北京”的可视项目设计 目录 1.引言 2.大数据采集 2.1.大数据特征 2.2.采集方式 “跑步点亮北京”的数据采集方式 2.3.存储方式 a)Hadoop(HDFS) b)Redis内存数据库（Geo） 2.4数据处理 (1) HDFS 列表 (2)数据添加 (3) 数据清洗 (

A small instance of visual analytics basing Spark(Python) The total delay time of the major airlines in a certain month 1.Preparation 1.1.Data       This data set was downlo