![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
小东升职记
人生陆远只有忘的甘静才会有江莱。
展开
-
kafka 自定义存储offset 到mysql中
kafka0.9版本之前,offset存储在zookeeper,0.9版本以及之后,默认offset存储在kafka的一个内置的topic中。除此之外,kafka还可以选择自定义存储offset。offset的维护是相当繁琐的,因为需要考虑到消费者的Rebalance。当有新的消费者加入消费者组、已有的消费者推出消费者组或者锁订阅的主题的分区发生变化,就会触发到分区的重新分区,重新分区的过...原创 2019-11-22 15:01:32 · 2745 阅读 · 4 评论 -
scala开发工具安装
目前Scala的开发工具主要有两种:Eclipse和IDEA,这两个开发工具都有相应的Scala插件,如果使用Eclipse,直接到Scala官网下载即可http://scala-ide.org/download/sdk.html。 由于IDEA的Scala插件更优秀,大多数Scala程序员都选择IDEA,可以到http://www.jetbrains.com/idea/download/...原创 2018-12-28 17:58:41 · 349 阅读 · 0 评论 -
基于Spark下WordCount的Demo
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf()并设置App名称 * local指本地 * 2代表在本地起两个线程 */ ...原创 2019-01-11 20:06:54 · 290 阅读 · 0 评论 -
一套完整的webserver+Flume+kafka+storm整合方案
实时处理系统:(Flume+Kafka+Storm+hbase+mysql) 为什么要记录访问日志的行为?通过日志我们可以得到网站页面上的访问量,网站的黏性,推荐用户行为分析,是指在获得网站访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站的归类,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营...原创 2019-01-17 20:28:09 · 443 阅读 · 0 评论 -
基于scala下actor编程的WordCount
注解很详细,最主要是要明白wordcount这个统计模型,demo虽小,思想很深厚原创 2019-01-07 20:28:26 · 140 阅读 · 0 评论 -
基于SparkStreaming的Window Operations
Window Operations有点类似于Storm中的State,可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext}object Wind...原创 2019-01-15 21:35:56 · 249 阅读 · 0 评论