aomao4913-CSDN博客

转载 spark读取hbase数据，如果表存在则不做任何操作，如果表不存在则新建表。

import java.text.SimpleDateFormat import java.util.Date import org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, HBaseConfiguration} import org.apache.hadoop.hbase.client.{HBas...

2017-04-17 08:47:00 260

转载在MAC上IDEA Intellij中导入svn项目handshake_failure解决方案

解决方案参考链接：http://stackoverflow.com/questions/29106972/intelijidea-14-ssl-handshake-failure 在使用MAC上IDEA Intellij中导入svn项目会出现如下错误： Subversion: (Accessing URL:https://XXXXX/svn/XXX) Received fatal ...

2017-02-24 09:03:00 283

转载 MAC上IDEA Intellij 14卸载

卸载MAC中的IDEA Intellij 14 使用命令行： cd /Applications/ rm -r IntelliJ\ IDEA\ 14.app/ rm -r /Users/sunlu/Library/Logs/IntelliJIdea14/ rm -r /Users/sunlu/Library/Preferences/IntelliJIdea14/ rm -r...

2017-02-20 16:42:00 128

转载 spark中将字符串生成二元组集合

使用Scala的集合工具包中，使用combinations将字符串生成二元组集合。 spark版本：2.0.2 val list1 = List(1,3,2,4,5,7,6,9,8) /* list1: List[Int] = List(1, 3, 2, 4, 5, 7, 6, 9, 8) */ val list2 = list1.sorted.combinatio...

2017-02-17 15:29:00 496

转载 map与flatMap的区别

spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 对比map和flatMap在RDD中的使用： val rdd1 = sc.parallelize(Seq(("one two three four five six seven"), ("one two three four five six seven"), ("...

2017-02-08 14:45:00 69

转载 spark TopN问题：dataframe和RDD比较

spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 spark TopN问题，其实就是分组、排序、组内取值问题。在shell下输入 spark-shell 　进入spark后输入以下命令： //使用dataframe解决spark TopN问题：分组、排序、取TopN import org.apache...

2017-02-08 13:42:00 129

转载 Linux下Rserve的启动

在本地启动Rserve（不可远程访问） RCMDRserve 以远程模式启动Rserve（支持远程访问） RCMDRserve--RS-enable-remote 查看Rserve进程 ps -aux|grep Rserve 查看Rserve进程端口 netstat-nltp|grepRserve 杀死Rserve进程 kill-9任务ID（该ID通过...

2017-01-19 12:28:00 343

转载在java中实现java与R的交互的几种方法

package com.ecloud.bigdata.Rserve.Demo; import org.rosuda.REngine.REXP; import org.rosuda.REngine.REXPDouble; import org.rosuda.REngine.REXPInteger; import org.rosuda.REngine.REXPList; i...

2017-01-19 12:14:00 233