Hadoop
小鹅鹅
兴趣使然
展开
-
Hadoop集群运维相关笔记 hdfs参数设置调优等
文章目录1. DataNode服务经常僵死描述分析解决2. DataNode因数据盘损坏重启失败描述分析解决3. 优化Hadoop Balancer平衡的速度Ref本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题,及相关的解决方案1. DataNode服务经常僵死描述集群一共设置了8个DataNode,经常不知道什么原因会导致其中3 4 个一直处于僵死状态,重启可以恢复单身过一段...原创 2020-02-11 16:38:07 · 2476 阅读 · 0 评论 -
HBase client 客户端重试机制
文章目录背景代码解析重要参数设置参数推荐背景在hbase集群故障时,hbase client无法连接region server的时候,因为重试参数配置问题,程序并不会直接抛出异常,而是会一直重试,导致异常报警没有触发。此篇文章讲述client的重试机制及参数配置。代码解析RpcRetryingCall.java 中 callWithRetries函数是Rpc请求重试机制的实现, 可以参考以...原创 2019-12-25 10:56:45 · 2050 阅读 · 0 评论 -
HDFS 基本概念及常用操作 学习笔记
目录基本概念读文件操作写文件操作可靠性常用命令Ref基本概念Hadoop 附带了一个名为 HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)的分布式文件系统,基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件,运行在集群的商品硬件上。它是容错的,可伸缩的,并且非常易于扩展。HDFS集群主要由 NameNode ...原创 2018-12-09 21:08:16 · 352 阅读 · 0 评论 -
HIVE 基本概念 数据单元 学习笔记
综述Hive是一个数据仓库基础工具,由Java编写,在Hadoop中用来处理结构化数据,可以把SQL查询转换为一系列在Hadoop集群上运行的作业。Hive设计的初衷是:对于大量的数据,使得数据汇总,查询和分析更加简单。它提供了SQL,允许用户更加简单地进行查询,汇总和数据分析。同时,Hive的SQL给予了用户多种方式来集成自己的功能,然后做定制化的查询,例如用户自定义函数(User Defi...原创 2018-12-11 21:14:00 · 1500 阅读 · 0 评论 -
Hbase Rowkey CF 架构 概述 预分区及Rowkey设计 学习笔记
1. 概述HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的。类似于数据库的存储层,HBase适用于结构化存储,并且为列式分布式数据库。HBase是一个数据模型,类似于Google Big Table设计,可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统(HDFS)提供的容错能力。它是Hadoop的生态系统,提供对数据的随机实...原创 2019-01-11 18:12:20 · 2179 阅读 · 0 评论 -
HBASE BufferedMutator 批量写入使用举例与源码解析
文章目录1. 基本介绍2. BufferedMutator使用举例2.1 单次一张表批量写入多次多张表批量写入3 源码介绍3.1 主要类介绍3.2 源码过程3.2.1 BufferedMutator构建的过程3.2.2 数据发送的过程3.2.3 HRegionserver端处理4. 总结5. Ref1. 基本介绍BufferedMutator主要用来异步批量的将数据写入一个hbase表,就像H...原创 2019-09-14 12:44:46 · 7510 阅读 · 1 评论