![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
天天随笔
熟悉spring,hibernate,struts2,spring mvc,spring data,mybatis等后台框架以及easy ui,bootstrap前端框架开发框架,了解activemq消息队列、了解Apache Mina Nio框架,了解cxf webservice客户端框架,了解Etl-kettle采集工具。了解阿里dubbo分布式服务框架,熟悉应用dubbo的服务提供方和服务消费方和hession协议。
展开
-
spark例子整理
Spark Streaming是一个准实时流处理框架,处理响应时间一般以分钟为单位,也就是说处理实时数据的延迟时间是秒级别的;Storm是一个实时流处理框架,处理响应是毫秒级的。所以在流框架选型方面要看具体业务场景。需要澄清的是现在很多人认为Spark Streaming流处理运行不稳定、数据丢失、事务性支持不好等等,那是因为很多人不会驾驭Spark Streaming及Spark本身。在Spar原创 2017-06-17 13:44:09 · 2487 阅读 · 1 评论 -
SparkStream2.0.0 和kafka的无缝结合
Kafka是一个分布式的发布-订阅式的消息系统,简单来说就是一个消息队列,好处是数据是持久化到磁盘的(本文重点不是介绍kafka,就不多说了)。Kafka的使用场景还是比较多的,比如用作异步系统间的缓冲队列,另外,在很多场景下,我们都会如如下的设计:将一些数据(比如日志)写入到kafka做持久化存储,然后另一个服务消费kafka中的数据,做业务级别的分析,然后将分析结果写入HBase或者HDFS;原创 2017-06-21 16:25:30 · 980 阅读 · 0 评论