spark项目实战总结
文章平均质量分 50
疯狂的程序猿88888
忘性太大,解决的问题赶紧写博客记下来
展开
-
使用spark读取es中的数据并进行数据清洗,使用fp-growth算法进行加工
最近学了spark,用fg-growth算法进行数据的关联排序object HelloPFg { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark MLlib Exercise:K-Means Clustering") conf.set("es.index.au原创 2016-04-26 20:36:27 · 9228 阅读 · 0 评论 -
使用Spark分析日志,使用关联算法分析结果,保存到hdfs
object EsPfgTest { //时间间隔,单位为分钟. val grapTime=5 //将时间间隔转化为毫秒 val grapTimeToMill=(grapTime*60000).toString.toLong //一整天时间换算成毫秒 val grapTimeAllDayToMill=(24*60*60*1000).toString.toLong def原创 2016-04-26 21:04:24 · 2282 阅读 · 1 评论 -
使用sparksql读取mysql中的数据
1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local")val sc=new SparkContext(conf)val sqlContext=new SQLContext(sc原创 2016-04-26 21:14:41 · 11325 阅读 · 1 评论 -
spark读取elasticsearch中的多个index
spark读取elasticsearch中的多个index有几个思路可供选择1.直接用逗号隔开多个index,代码如下val esLogs=sc.esRDD("logstash-2016.04.05,logstash-2016.04.06")2.读取每一个,结果是RDD,然后将两个RDD进行合并,使用join是对两个RDD进行交集,union是取并集val esLogs=sc.原创 2016-04-15 13:06:41 · 3391 阅读 · 0 评论 -
com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6<dependency>
spark读取elasticsearch的时候,出错了,报错com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6Exception in thread "main" java.lang.ExceptionInInitializerError at org.apac...原创 2018-09-14 10:57:40 · 8811 阅读 · 2 评论 -
tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapre
Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat at org.apache.h...原创 2019-01-04 14:43:44 · 7863 阅读 · 2 评论