sparksql
岸芷汀兰whu
热爱生活、热爱技术
展开
-
sparksql性能调优
性能优化参数 代码实例import java.util.List;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.api.java.JavaSQLContext; import org.apache.spark.sql原创 2015-09-16 00:16:16 · 6681 阅读 · 0 评论 -
sparkCookbook4-SparkSQL
catalyst优化器由两个主要目标: 方便的添加新的优化技术 允许外部开发者扩展优化器 sparkSQL在四个阶段使用catalyst转换框架1, Analyzing a logical plan to resolve references 2,Logical plan optimization 3, Physical planning 4,Code generation to compi原创 2015-09-02 16:35:30 · 556 阅读 · 0 评论 -
鸟窝
sparksql摇摆少年梦 懂得博客 简单之美 micky yirenboy spark技术内幕原创 2015-09-17 12:07:55 · 427 阅读 · 0 评论 -
sparksql性能测试
spark耗时对数据大小并不是线性增长,而是随数据大小缓慢增长。 数据相差一个数量级,运行时间也只差几秒,下面是多次运行下面的程序的耗时情况:分别测试100,1000,10000 但是数据超过一定大小,并行化及注册为表都没问题,而执行sql查询则出现问题:Exception in thread "main" org.apache.spark.SparkException: Job abort原创 2015-09-24 11:06:00 · 2459 阅读 · 0 评论