大数据
Herb6876
IT民工一枚
展开
-
Hbase特点、架构、数据模型
1. Hbase是什么HBase 是一个开源的、分布式的、版本化的非关系型数据库,它利用 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)提供分布式数据存储。HBase 是非关系型数据库,它不具备关系型数据库的一些特点,例如,它不支持 SQL 的跨行事务,也不要求数据之间有严格的关系,同时它允许在同一列的不同行中存储不同类型的数据。尽管已经有许多数据存储和访问的策略和实现方法,但事实上大多数解决方案,特别是一些关系类型的,在构建时并没有考虑超大规模原创 2020-06-14 12:17:34 · 870 阅读 · 0 评论 -
Hadoop高可用集群原理
1. Hadoop是什么Hadoop 是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。像IT圈的其他服务一样 Hadoop也有自己的吉祥物,是一个黄色小象 如下2. Hadoop的特点和组件2.1 优点和缺点Hadoop的优点Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。Hadoop能够在节点之间进行动态地移动数据,并原创 2020-07-06 23:05:13 · 2020 阅读 · 2 评论 -
大数据zookeeper理论和集群实现
1. zookeeper简介1.1 zookeeper是什么ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是Google的Chubby(闭源)一个开源的实现,目前。在分布式协调技术方面做得比较好的就是Google的Chubby还有Apache的ZooKeeper。在构建一些分布式系统的时候,可以以这类系统为起点来构建整体的系统,这将节省不少成本,而且bug也会更少。Zookeeper是Hadoop和Hbase的重要组件。Zookeeper 分布式服务框架是Apache Ha原创 2020-07-01 18:35:44 · 550 阅读 · 0 评论 -
kafka理论和集群实现
1. kafka基础概念Producer :消息生产者,就是向kafka broker发消息的客户端Consumer :消息消费者,向kafka broker取消息的客户端Topic :可以理解为一个队列Consumer Group (CG):消费者组,消费者以消费者组的形式订阅kafka的消息,如下图Broker :一台kafka服务器就是一个broker,一个集群由多个broker组成,一个broker可以容纳多个topicPartition:分区。一个topic的数据可以分成不同的部分在原创 2020-07-06 23:03:08 · 471 阅读 · 0 评论