- 博客(3)
- 收藏
- 关注
原创 Spark SQL之External DataSource外部数据源(二)源码分析
Spark SQL在Spark1.2中提供了External DataSource API,开发者可以根据接口来实现自己的外部数据源,如avro, csv, json, parquet等等。 在Spark SQL源代码的org/spark/sql/sources目
2014-12-22 01:12:30 11830 1
原创 Spark SQL之External DataSource外部数据源(一)示例
一、Spark SQL External DataSource简介 随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现。 这使得Spark SQL支持了更多的类型数据源,如json, parquet, avro, csv格式。只要我们愿意,我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家
2014-12-22 01:12:20 9332
原创 Docker 安装 on Mac OS X
一、简介 Docker是一个开源的容器引擎,能提供虚机化,从而达到隔离应用,可移植到任意安装有Docker的机器上运行,这对开发者来说是一个极大的福音。 由于工作上原因,最近准备开始使用Docker(公司装Docker的时候,linux server内核版本太低,需要重新编译)。 本文主要讲解如何在Mac OSX上安装Docker。 Tips:由于Docker引擎是使用了特定于Linux...
2014-12-07 11:19:30 13365 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人