使用spark读取es中的数据并进行数据清洗，使用fp-growth算法进行加工

最新推荐文章于 2024-07-26 23:13:56 发布

疯狂的程序猿88888

最新推荐文章于 2024-07-26 23:13:56 发布

阅读量9.2k

点赞数 1

分类专栏： spark项目实战总结文章标签： spark elasticsearch scala 算法

本文链接：https://blog.csdn.net/u012940753/article/details/51253672

版权

本文介绍了如何利用Spark从Elasticsearch中读取数据，并进行数据清洗。接着详细阐述了如何运用FP-Growth算法对清洗后的数据进行关联规则挖掘，以实现更深入的数据加工分析。

摘要由CSDN通过智能技术生成

最近学了spark，用fg-growth算法进行数据的关联排序

object HelloPFg {
  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("Spark MLlib Exercise:K-Means Clustering")
    conf.set("es.index.auto.create", "true")
    conf.set("es.nodes", "192.168.100.100")

    val sc = new SparkContext(conf)

    var sqlsc = new SQLContext(sc)
    /**
      * 读取es中的数据，logstash是es中的索引名称，如果需要读取多个索引，则使用逗号将索引隔开即可
      * val esLogs = sc.esRDD("logstash-2016.04.04,logstash-2016.04.05").values
      * 如果需要读取不同的index中的不同的type中的数据，则分别读取，然后使用union将多个rdd合并成一个rdd即可
    val esLogs = sc.esRDD("logstash-2016.04.04/spark").values
    val esLogs1 = sc.esRDD("logstash-2016.04.05/docs").values
    val test=esLogs.union(esLogs1)
      * */
    val esL