![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
系统架构
疯流小子
这个作者很懒,什么都没留下…
展开
-
HBase和Hive的整合
为 用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库原创 2014-11-12 16:14:20 · 765 阅读 · 0 评论 -
flume-ng+Kafka+Storm+HDFS+jdbc 实时系统搭建的完美整合
一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正; 内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写这篇文章@晨色星空J2EE也给了我很大帮助,这里也谢谢@晨色星空J2EE 之前在弄这个的时候,转载 2014-11-04 14:37:34 · 1518 阅读 · 0 评论 -
大数据实时计算工程师/Storm工程师职业学习路线图
描述 本路线图系列课程是一个专门针对大数据实时处理架构所设计的课程体系,包括了从数据收集框架、集群协调框架、数据缓存框架到实时计算框架都全面进行深度解析,让一个普通的开发人员迅速成为实时计算领域的领跑者。也从整体架构上给出了一个实时计算可以践行的基础架构和实时业务处理方法。 学习目标通过本套课程的学习,能让学习者迅速的了解实时计算以及周边框架的使用方式并能将实时计算转载 2014-11-07 13:12:57 · 972 阅读 · 0 评论 -
SparkStreaming和Kafka的整合
spark自带的example中就有streaming结合kafka使用的案例: $SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala 使用方法参见代码描述: Usage: KafkaWordCount is a list of one原创 2015-01-15 15:18:09 · 1215 阅读 · 0 评论