bigdata
TheSnowBoy_2
知乎:https://www.zhihu.com/people/wang-kang-84-84/activities
展开
-
hive rcfile存储格式
Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row group,在row group中对每个列分别进行存储。另:Hive能支持自定义格式,详情见:Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载的高适应能力,因为行存...转载 2018-06-27 19:01:19 · 416 阅读 · 0 评论 -
KafkaConsumer
转自:https://www.cnblogs.com/f-zhao/p/7843883.html目录一、偏移量和消费者位置Offsets And Consumer position 1.1 TopicPartition 1.2 committed position提交偏移量 二、消费分组和主题订阅Consumer Groups and Topic Subscriptions...转载 2018-09-21 15:17:32 · 752 阅读 · 0 评论 -
【Hadoop HDFS学习笔记】HDFS基本学习
文章目录HDFS文件系统HDFS设计的目标计算机集群的基本结构建构在上述物理结构之上的逻辑结构HDFS的基本架构HDFS命名空间管理通信协议客户端HDFS体系结构的局限性HDFS 的关键底层结构块(文件处理的基本单元)![在这里插入图片描述](https://img-blog.csdnimg.cn/2019010608455950.png)名称节点文件树状结构组织方式名称结点的关键数据结构(文件状...原创 2019-01-06 10:14:53 · 2811 阅读 · 0 评论