![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 67
HoldonWithYourGoal
这个作者很懒,什么都没留下…
展开
-
分布式发布订阅消息系统 Kafka
网站系统 Kafka集群 --> strom集群 --> redis集群 Flume用于获取数据,Kafka用于缓存数据,strom用于处理,redis用于存储。 Kafka类似于JMS中间件。原创 2017-02-24 15:02:09 · 558 阅读 · 0 评论 -
Spark应用执行机制
Spark是专门为大规模数据设计的快速通用计算引擎。 Spark应用(Application)为用户提交的应用程序。执行模式有Local(测试),Standalone、Yarn和Mesos。根据Spark Application的Driver Program是否在集群中运行,Spark应用的运行方式又可以分为CustomerCluster模式和Client模式。 Spark涉及的基原创 2017-03-07 15:05:34 · 399 阅读 · 0 评论 -
HBase rowkey设计原则
Hbase是三维有序存储的,通过rowkey、column key(column family和qualifier)、timestamp这三个维度可以对数据进行快速定位。 1、通过get方式,指定rowkey获取唯一一条记录。 2、通过scan方式,setStartRow和setEndRow参数进行范围匹配。 3、全表扫描。 rowkey设计原则 1. 唯一原则 2.原创 2017-11-09 20:58:53 · 978 阅读 · 0 评论