spark-sql
文章平均质量分 79
靖-Drei
这个作者很懒,什么都没留下…
展开
-
Spark SQL与DataFrame
Spark SQL与DataFrame RDD与DataFrame Spark SQL企业级最佳实践 一:Spark SQL与DataFrame 1.Spark SQL非常强大主要体现在一下几点:a) 可以处理一切存储介质和各种格式的数据(可以方便的扩展Spark SQL的功能来支持更多类型的数据,例如Kudu),包括Hive,Mysql,DB2等传统数据库。 b) Spark SQ翻译 2016-05-17 17:33:04 · 656 阅读 · 0 评论 -
Spark SQL下的Parquet使用最佳实践和代码实战
一:Spark SQL下的Parquet使用最佳实践1,过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式:A)Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> SparkSQL/impala -> Result Service(可以放在DB中,也有可能被通过JDBC/ODBC来作为数据服务使用);B翻译 2016-05-17 18:16:28 · 10201 阅读 · 0 评论