最近学了spark,用fg-growth算法进行数据的关联排序
object HelloPFg {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark MLlib Exercise:K-Means Clustering")
conf.set("es.index.auto.create", "true")
conf.set("es.nodes", "192.168.100.100")
val sc = new SparkContext(conf)
var sqlsc = new SQLContext(sc)
/**
* 读取es中的数据,logstash是es中的索引名称,如果需要读取多个索引,则使用逗号将索引隔开即可
* val esLogs = sc.esRDD("logstash-2016.04.04,logstash-2016.04.05").values
* 如果需要读取不同的index中的不同的type中的数据,则分别读取,然后使用union将多个rdd合并成一个rdd即可
val esLogs = sc.esRDD("logstash-2016.04.04/spark").values
val esLogs1 = sc.esRDD("logstash-2016.04.05/docs").values
val test=esLogs.union(esLogs1)
* */
val esL