sql
dabokele
这个作者很懒,什么都没留下…
展开
-
Spark-streaming 连接flume
1,程序为spark的example中的FlumeEventCount示例object FlumeEventCount { def main(args: Array[String]) { StreamingExamples.setStreamingLogLevels() //val Array(host, IntParam(port)) = args val host原创 2015-09-23 14:17:22 · 1180 阅读 · 0 评论 -
Sql表注释
1 创建表的时候写注释create table test1( field_name int comment '字段的注释')comment='表的注释'; 2 修改表的注释alter table test1 comment '修改后的表的注释'; 3 修改字段的注释alter table test1 modify column field_name int comment原创 2015-09-24 10:19:21 · 2410 阅读 · 0 评论 -
Spark-SQL连接MySql关系型数据库
注意:程序中需要用到jdbc的jar包本程序中使用的是mysql-connector-java-5.1.29.jar1,从mysql数据库读取数据 完整程序如下:import java.util.Propertiesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkContext, S原创 2015-09-23 11:58:09 · 8484 阅读 · 1 评论 -
Spark SQL中的broadcast join分析
本文分析Spark-1.6.2中大小表join时的broadcast机制。分析源码执行逻辑,并且对源码进行一定的调整。原创 2017-03-25 21:34:57 · 30091 阅读 · 2 评论 -
Spark-SQL之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现。可以参考,Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、hive表,以及通过JD原创 2016-10-12 23:31:35 · 197184 阅读 · 18 评论