![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
lihuan1124
这个作者很懒,什么都没留下…
展开
-
Hadoop原理(HDFS+MR+YARN)
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode 组成:Namenode管理文件系统的元数据,Datanode存储数据。2->HDFS各个节点的功能NameNode:Master节点,是领导。管理数据块映射;处理客户端的读写请求;监控nanmenode的健...原创 2018-06-22 21:20:28 · 2006 阅读 · 0 评论 -
Hbase原理
目录:一、Hbase介绍二、Hbase的Region三、Hbase的写逻辑四、Hbase的故障恢复五、Hbase的拆分和合并六、Hbase主键设计七、Hbase预分区--------------------一、Hbase介绍1、Hbase简介Hbase是Hadoop Database的简称 ,Hbase项目是由Powerset公司的Chad Walters和Jim Kelleman在2006年末发...转载 2018-06-22 22:18:57 · 1837 阅读 · 0 评论 -
filebeat windows安装使用
说明:本例主要采集日志文件到kafka为例filebeat简述 Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读) Filebeat工作流程...原创 2018-08-06 15:06:38 · 3744 阅读 · 0 评论 -
hbase数据增长磁盘空间不足问题
HBase落地到HDFS后磁盘空间急剧增长的解决场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException,于是ctrl+c取消了落地到HDFS.HDFS 一共有 3 个datanode....转载 2019-05-22 10:30:44 · 2445 阅读 · 1 评论