白乔专栏

资深感性程序员,大数据爱好者,中国科学院博士

spark RDD的元素顺序(ordering)测试

scala> val rdd = sc.makeRDD((0 to 9), 4) scala> rdd.collect res27: Array[Int] = Array(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)scala> rdd.partitions res...

2015-10-13 23:22:36

阅读数 7771

评论数 0

常用Maven插件介绍

http://www.cnblogs.com/crazy-fox/archive/2012/02/09/2343722.html我们都知道Maven本质上是一个插件框架,它的核心并不执行任何具体的构建任务,所有这些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin...

2015-10-09 21:05:50

阅读数 771

评论数 0

Spark SQL 1.3.0 DataFrame介绍、使用

http://www.aboutyun.com/forum.php?mod=viewthread&tid=12358&page=11.DataFrame是什么?2.如何创建DataFrame?3.如何将普通RDD转变为DataFrame?4.如何使用DataFrame?5.在1.3...

2015-10-07 19:38:23

阅读数 4055

评论数 0

SparkSQL之数据源

准备json文件:cat /root/1.json {"name":"Michael"} {"name":"Andy", "age":30} {"name":"Just...

2015-10-07 18:40:07

阅读数 1628

评论数 0

spark集成hive遭遇mysql check失败的问题

问题: spark集成hive,启动spark-shell或者spark-sql的时候,报错:INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, c...

2015-10-05 13:14:52

阅读数 1796

评论数 0

hive启动报错: Found class jline.Terminal, but interface was expected

故障:[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interfa...

2015-10-04 21:26:51

阅读数 4717

评论数 2

hive,spark的远程调试设置

spark的远程调试spark-env.sh文件里面,加上下面配置即可:if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:t...

2015-10-03 18:46:13

阅读数 3620

评论数 0

【白乔原创】写二十年的代码是一种什么样的体验?

70后老人,来自皖南山区纯的农村娃,大学之后才有的编程经历受前面一个兄弟的启发,截点图说说自己的这段历程,后面有时间再补充文字:)>>>>>>>1995年第一次接触到计算机编程,机械制造专业当然是FORTRAN了~~~依稀还记得第一次上课前天晚上对床

2015-10-02 21:52:10

阅读数 2899

评论数 4

Spark SQL之External DataSource外部数据源

http://blog.csdn.net/oopsoom/article/details/42061077一、Spark SQL External DataSource简介  随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,...

2015-10-02 11:53:47

阅读数 4101

评论数 0

提示
确定要删除当前文章?
取消 删除