spark
tianjun2012
这个作者很懒,什么都没留下…
展开
-
structured streaming的checkpoint文件无限增长
目录structured streaming的checkpoint文件无限增长structured streaming的checkpoint文件无限增长原理和处理办法:https://www.waitingforcode.com/apache-spark-structured-streaming/checkpoint-storage-structured-streaming/read#will_it_grow_indifinetelyWill it grow indefinitely?No. Ap原创 2020-05-23 23:41:51 · 786 阅读 · 0 评论 -
spark-sql实现Kudu同步数据到mysql
Kudu同步数据到mysql实施方案简介目前kudu导出到mysql没有比较好的方案,临时借助spark-sql进行数据导出,处理逻辑是会把老的数据给删除再导入,已经完成了生产环境的上线。需要传入的参数程序参数 参数序号 字段含义 备注 1 同步的source表(含schema),必选 ...原创 2019-09-17 22:37:14 · 1768 阅读 · 3 评论 -
spark入门学习(2)---利用akka建立基于心跳基础的通信框架
1、架构图2、业务要求通信业务逻辑: 首先启动master,然后启动所有的worker 1.worker启动后,在preStart方法中与master建立连接,向master发送注册,将worker的信息通过case class封装起来发送给master 2.master接受到worker的注册消息后3、代码实现4、运行原创 2017-01-12 10:59:17 · 1174 阅读 · 0 评论 -
spark(5)--spark模型中FIFO的实现
pom文件的配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave原创 2017-08-22 21:14:40 · 396 阅读 · 0 评论 -
spark(4)--scala入门扫盲(2)
样例类在Scala中样例类是一中特殊的类,可用于模式匹配。case class是多例的,后面要跟构造参数,case object是单例的import scala.util.Randomcase class SubmitTask(id: String, name: String)case class HeartBeat(time: Long)case object CheckTimeOutTask原创 2017-08-07 15:37:43 · 383 阅读 · 0 评论 -
spark入门(4)----scala扫盲(1)
scala方法和函数区别注意:方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型 //定义方法 def m2(f:(Int,Int)=>Int) = f(2,6) //定义函数 val f2 = (x:Int,y:Int) => x-y val a = m2(f2) println("the result is: "+a)原创 2017-06-23 16:09:27 · 2133 阅读 · 0 评论 -
spark(5)--scala之actor模型
Actor方法执行顺序Scala在2.11.x版本中将Akka加入其中,作为其默认的Actor,老版本的Actor已经废弃 1.首先调用start()方法启动Actor 2.调用start()方法后其act()方法会被执行 3.向Actor发送消息发送消息的方式! 发送异步消息,没有返回值。 !? 发送同步消息,等待返回值。 !! 发送异步消息,返回值是 Future[Any]。d原创 2017-08-07 16:08:44 · 905 阅读 · 0 评论 -
spark数据分析之ip归属地查询
前一段时间,在项目中,领导要求实时查看来自各个省份的ip访问的详情,根据这一需求,通过flume/logstack实时采集nginx的日志到生产到kafka,再通过spark实时消费分析保存到redis/mysql中,最后前端通过百度的echart图实时的显示出来。原创 2017-02-13 16:31:04 · 2925 阅读 · 3 评论 -
基于spark的精准推荐系统
架构图:原创 2017-02-16 16:29:23 · 4974 阅读 · 0 评论 -
spark入门学习(1)---利用akka建立最基础的通信框架
1、前情导要首先在学习这个系列之前,scala是必须掌握的基础,由于scala和java的无缝结合以及本身具有的函数编程的思想,所以scala的使用是非常灵活的,但是同时,学好scala也是非常有挑战性的。2、基础模型图 本次简单的实现,就没有用到zk进行集群部署3、依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://ma原创 2017-01-11 16:01:19 · 854 阅读 · 0 评论