![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据处理框架技术
文章平均质量分 93
仙姝
这个作者很懒,什么都没留下…
展开
-
级联flume报错 输出方无法连接接收方
org.apache.flume.FlumeException: NettyAvroRpcClient { host:xxxxx, port: xxxxx }: RPC connection error原创 2021-02-04 01:10:24 · 3010 阅读 · 0 评论 -
Hbase
hbase的基础架构及底层原理基础架构1. HMaster:主节点。负责分配region,以及管理HRegionServer。2. HRegionServer:从节点。负责管理region。底层原理HBase的主节点有一个或多个,其中一个是活动节点,其他是备用节点。在zookeeper集群中抢占到锁的就是主节点,其他备用节点对zookeeper集群中的这个锁设置观察,等待锁释放,以伺机抢占锁。从节点启动时,在zookeeper上的server目录下建立代表自己的临时节点。由于主节点订原创 2021-01-19 12:44:22 · 419 阅读 · 1 评论 -
Kafka
kafka的架构模型以及内部细节topic:每条发布到kafka集群的消息都有一个类别,这个类别就叫做Topicbroker:服务端,储存消息consumer:消费者,从broker读取消息producer:生产者,向broker放入消息partition:一个topic消息划分不同的区,分区是kafka消息队列组织的最小单位,一个区可看作一个队列一个broker服务下,可以创建多个分区,broker数与分区数没有关系;在kafka中,每一个分区会有一个编号:编号从0开始。.原创 2021-01-15 11:58:48 · 212 阅读 · 0 评论 -
大数据处理框架技术概览
flumeflume可以适用于大部分的日常数据采集场景Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求,通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力...原创 2021-01-13 19:14:58 · 215 阅读 · 0 评论