Python 开发者的Spark
Life is short, just use Python;
Data is big, just use Spark......
半吊子全栈工匠
半吊子全栈工匠一枚
展开
-
地铁译:Spark for python developers --- 搭建Spark虚拟环境1
一个多月的地铁阅读时光,阅读《Spark for python developers》电子书,不动笔墨不看书,随手在evernote中做了一下翻译,多年不习英语,自娱自乐。周末整理了一下,发现再多做一点就可基本成文了,于是开始这个地铁译系列。为开发搭建一个独立的虚拟环境,通过Spark和Anaconda提供的PyData 库为该环境补充能力。 这些库包括Pandas,Scikit-Learn, Blaze,翻译 2016-05-08 20:16:02 · 5928 阅读 · 0 评论 -
地铁译:Spark for python developers --- 搭建Spark虚拟环境2
这一段,主要是 Spark 的基本概念,以及Anaconda的基本组成。数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于.....翻译 2016-05-09 20:37:47 · 5504 阅读 · 0 评论 -
地铁译:Spark for python developers --- 搭建Spark虚拟环境3
在VirtualBox 上建Ubantu虚机,安装Anaconda,Java 8,Spark,IPython Notebook,以及和Hello world 齐名的wordcount 例子程序.....翻译 2016-05-10 20:18:44 · 22287 阅读 · 0 评论 -
地铁译:Spark for python developers --- 搭建Spark虚拟环境 4
Spark 同时可以建立在虚拟化的基础上,例如Vagrant 和Docker, 这样的虚拟化环境很容易部署到各种云服务上,例如AWS。Vagrant的虚拟化环境为了创建Python和Spark 环境......翻译 2016-05-11 21:12:30 · 4050 阅读 · 0 评论 -
地铁译:Spark for python developers ---构建Spark批处理和流处理应用前的数据准备
从GitHub收集有关Apache Spark的信息, 在Twitter上检查相关的tweets, 使用 Meetup从更广泛的开源社区得到更多Spark 相关感受。 本章中, 我们将概览各种信息和数据源,理解他们的结构,从批处理到流处理介绍数据处理流水线,要点如下: + 从批处理到流处理介绍......翻译 2016-05-17 06:54:45 · 15408 阅读 · 0 评论 -
地铁译:Spark for python developers ---Spark的数据戏法
聚焦在 Twitter 上关于Apache Spark的数据, 这些是准备用于机器学习和流式处理应用的数据。 重点是如何通过分布式网络交换代码和数据,获得 串行化, 持久化 , 调度和缓存的实战经验 。 认真使用 Spark SQL, 交互性探索结构化和半结构化数据. Spark SQL 的基础数据结构是 Spark dataframe, Spark dataframe 受到了翻译 2016-05-21 20:31:30 · 16025 阅读 · 0 评论 -
地铁译:Spark for python developers ---Spark与数据的机器学习
机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib,采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache Spark相关的tweets . 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法 , 最后评估结果和性能.翻译 2016-05-30 09:11:27 · 12916 阅读 · 1 评论 -
地铁译:Spark for python developers ---Spark流式数据处理
列举了流式处理架构应用的基础,描述了他们的挑战,约束,和优势。深入了解了Spark Streaming 的内部工作原理包括如何Spark Core 适用,以及与Spark SQL 和 Spark MLlib对话, 通过TCP sockets 解释了流处理概念。使用Kafka最大限度地增加了流处理架构的弹性,讨论了上下行数据与消费者之间的解耦合。 还讨论了Flume—这个可靠,灵活,伸缩性数据摄取和传输的流水线系统。翻译 2016-06-15 09:22:28 · 23500 阅读 · 1 评论 -
地铁译:Spark for python developers ---Spark处理后的数据可视化
数据可视化能够提取数据的结论见解和趋势。快速浏览Python 生态系统中的可视化工具,重点把Bokeh 作为渲染和展示大数据集的强劲工具。 Bokeh 是Python Anaconda 生态系统的一部分......翻译 2016-06-25 11:31:50 · 10333 阅读 · 1 评论