2016年10月_leishenop

12月 11月 10月 09月 08月 06月 05月 04月 03月

原创 Spark创建DataFrame和读取CSV数据文件

之前写的程序中，有些API在Spark SQLContext没有，我计算的结果先保存在rdd中，最后在使用RDD转换成dataframe进行保存，话不多说下面是代码.//一个StruceFields你可以把它当成一个特征列。分别用列的名称和数据类型初始化 val structFields = List(StructField("age",DoubleType),StructField("hei

2016-10-17 23:58:34 31813 2

原创 HBase操作的基本函数

最近在学习HBase，在这里把操作HBase的基本Api记录一下。以后也能回顾学习： Configuration config = HBaseConfiguration.create(); //设置zookeeper的服务地址，具体自己设置 config.set("","") //设置端口 config.set("",""

2016-10-17 09:37:47 1496

原创 Maven用Scala编译，bad symbolic reference. A signature in package.class refers to type compileTimeOnly

今天再用Maven来编写Spark程序的时候，在使用了SQLContext的API之后，每次编译就是不通过。看错误信息提示了bad symbolic reference. A signature in package.class refers to type compileTimeOnly。这个错误。在网上找了一大堆，都没有找到这个问题的真正解决方法。最后，无意中看了一个博客，最后解决了，所以在这里

2016-10-14 09:55:18 6178

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人