SparkSQL
少半个西瓜
这个作者很懒,什么都没留下…
展开
-
SparkSQL+Hbase+HDFS实现SQL完全封装(一)
1.描述:通过读取SQL脚本文件内的SQL脚本,实现在大数据平台中的业务处理,对于没有JAVA或是语言基础的同学来说,通过封装完全可以只写SQL就能实现业务的处理。2.平台环境Spark:spark-2.2.1-bin-hadoop2.73.具体思路: 通过读取HDFS上的SQL脚本文件[可以直接放到Linux上面],解析SQL脚本获取SparkSQL需要的原表、目标表、目标表的字段名以及查询SQ...原创 2018-02-23 16:14:09 · 5115 阅读 · 0 评论 -
SparkSQL+Hbase+HDFS实现SQL完全封装(二)
注:SparkSQL+Hbase+HDFS实现SQL完全封装(二) 是在一的基础上做了一些优化。1.描述:通过读取SQL脚本文件内的SQL脚本,实现在大数据平台中的业务处理,对于没有JAVA或是语言基础的同学来说,通过封装完全可以只写SQL就能实现业务的处理。注: 优点:部署后团队其它人员只要会写SQL就行。 缺点:优化方面也只能对写的SQL进行优化2.平台环境Spark:sp...原创 2018-05-08 15:29:41 · 836 阅读 · 1 评论