- 博客(2)
- 收藏
- 关注
RSS订阅原创 kafka分区知识点
概念 topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队；在磁盘上以文件夹的形式存在；消息最终以文件形式保存在partition文件夹下面，分段存储。 segment文件： 对于一个partition（在Broker中以文件夹的形式存在），里面又有很多大小相等的segment数据文件（这个文件的具体大小可以在config/server.properties中log.segment.bytes=XXX属性设置），这种特性可以方便old segment
2020-08-13 21:14:26
193
1
原创 从概念上弄清楚hive和hbase区别
Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表，并提供完整的SQL查询功能，并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表，适合存放非结构化的数据。 1. 两者分别是什么？ Apache Hive是数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce....
2020-08-08 20:50:06
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人