HBase体系、HDFS API基本操作

最新推荐文章于 2024-01-23 13:33:54 发布
最新推荐文章于 2024-01-23 13:33:54 发布
阅读量278 收藏
点赞数
分类专栏： 大数据 编程 HBase HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29305191/article/details/82695097
版权
本文探讨了HBase的体系结构，重点介绍了主从结构的单点故障问题。随后转向HDFS，讲解了如何通过Web Console和命令行进行操作，并详细阐述了如何在Java环境下使用API创建文件夹，包括设置环境变量、修改文件权限以及关闭HDFS权限检查等步骤。
摘要由CSDN通过智能技术生成

HBase的体系结构

1、主从结构：
            主节点：HMaster
            从节点：RegionServer

2、基于HDFS上的NOSQL数据库
       HBase             HDFS
       表    -------->   目录
       数据  --------->  文件

HBase体系

主从结构的单点故障问题

1、小结：主从结构

            主节点             从节点
HDFS       NameNode           DataNode
Yarn       ResourceManager    NodeManager
HBase      HMaster            RegionServer
Storm      Nimbus             Supervisor
Spark      Master             Worker

单点故障 2、主从结构的单点故障问题

HDFS

1、Web Console：网页 端口 50070
2、命令行
(1) 操作命令: hdfs dfs ***** 命令

最低0.47元/天 解锁文章
喜笑延开
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase与HDFS结合使用
cxx_317的博客
05-04 1843
默认的MapReduce集群没有访问HBase配置或类的权限，so，我们需要将hbase-site.xml文件放到hadoop的安装目录中的conf文件中，并且还需要在hadoop目录下的lib文件夹中加入HBase的Jar包，然后复制更改到集群或者编辑hadoop-evn.sh文件，添加这些更改到HADOOP_CLASSPATH（不推荐） 接下来，我们看两个简单的demo： Th
HBase和HDFS数据互导程序
weixin_33847182的博客
05-13 203
下面说说JAVA API 提供的这些类的功能和他们之间有什么样的联系。1.HBaseConfiguration关系：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例： Configuration config = HBaseConfiguration.create();说明： HBaseConf...
Hbase写入hdfs源码分析
tengxy_cloud的专栏
12-12 1733
本文档从源码角度分析了，hbase作为dfs client写入hdfs的hadoop sequence文件最终刷盘落地的过程。 之前在《wal线程模型源码分析》中描述wal的写过程时说过会写入hadoop sequence文件，hbase为了保证数据的安全性，一般都是写入同为hadoop生态的hdfs(Hadoop Distribute File System)中。append的最终结果是使
【hbase】使用HDFS底层文件来进行hbase 跨集群数据迁移
Mrerlou的博客
11-11 1720
前言： 最近要跨集群迁移hbase 表，这里选择迁移Hadoop底层数据来实现hbase的表迁移。 迁移Hadoop底层文件的方式有两种： distcp 从旧集群get 获取文件到本地在 put到新集群上。 因为，我们这个A集群是kerberos 环境，B集群是不带kerberos环境，这里使用Distcp的方式，需要添加一个白名单的配置，并且也需要重启集群，这里就不采用distcp的方式了，使用 get/put的方式。这里仅是为了迁移底层数据，所以选择那种方式都可以。 环境信息： CDH版本
用java的api将数据从HDFS上存到HBASE中
01-05 2666
import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.mapreduce.TableOutputF
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
超全的HBase知识体系总结.pdf
11-17
5. HBase的shell操作提供了简单易用的命令行工具来执行基本的数据操作，如添加（put）、查询（get、scan）、更新（put）和删除（delete）等。这些命令使得用户可以不需要编写程序代码，直接通过命令行完成对HBase...
实验三：熟悉常用的HBase操作
05-05
实验的目标是让你理解HBase在Hadoop架构中的地位，以及掌握通过Shell命令和Java API进行基本操作的方法。 首先，让我们来看看实验的平台配置。实验要求的操作系统是Linux，这通常是大数据处理的首选平台，因为它...
大数据技术原理及应用课实验3 熟悉常用的HBase操作 林子雨实验
01-16
通过这个实验，参与者深入理解了HBase如何在Hadoop架构中协同工作，掌握了HBase Shell命令的基本操作，并学会了使用Java API进行高级数据操作。这对于理解和应用大数据处理技术，尤其是在实时数据存储和分析场景中，...
五分钟学大数据-HBase 知识体系吐血总结1
08-03
除了基本操作，还有高级命令用于优化和管理，例如表的合并、分裂以及元数据的查看和修改。 ### 五、HBase 的 Java API 开发 开发人员可以使用 HBase 的 Java API 进行应用程序开发： 1. **开发 javaAPI 操作 ...
hbase 及 hdfs Java api连接的建立
lbovery的博客
02-11 365
网上看到很多Java api连接的建立方案，感觉有点繁琐，后查阅文档后得到最简单的两种方案 方案一：将要连接的hadoop集群中 hdfs-site.xmlcore-site.xml hbse-site.xml （连接hbase用）复制到RESOUCES下， 获取hdfs 文件系统 Configurationconfiguration =new Configuration();...
Hdfs命令及Hbase使用（半期）
qq_48657881的博客
12-26 1021
试题说明： 一家新闻网站，正在订制app。该网站的主要业务就是每天发布新闻。新闻包括文字、图片、音视频。该网站负责人委托你来设计文件系统。需求如下： 1、 采用分布式文件系统 2、 多媒体文件需要按日期、类型保存到HDFS对应的文件夹 后缀名Jpg为图片文件，wav的是音频文件，txt是文本文件。 日期为文件名前十位。 hadoop fs -mkdir /2020-02-01 hadoop fs -mkdir /2020-02-02 hadoop fs -mkdir /2020-02-01/txt.txt
Hbase
Theshy08的博客
07-29 378
Client包含了访问Hbase的接口，另外Client还维护了对应的cache来加速Hbase的。Rowkey的概念和mysql中的主键是完全一样的，Hbase使用Rowkey来唯一的区分某一行的数。默认查询的是最新的版本，用户。ColumnFamily又叫列族，Hbase通过列族划分数据的存储，列族下面可以包含任意多的列，实。Hbase的列族不是越多越好，官方推荐的是列族最好小于或者等于3。这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。...
linux、hdfs、hive、hbase常用命令
个人技术博客
04-25 2098
linux、hdfs、hive、hbase常用命令
Hadoop中HBase命令行操作
最新发布
m0_69595107的博客
01-23 2617
采用底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
hbase API操作范例
编程感想记录
05-08 2409
public class HbaseDemo { private Configuration conf = null; @Before public void init(){ conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "lp5,lp6,lp7"); } /* * 新建表
ranger中启用“deny” policies(hdfs、hive等)
TBSOD的博客
05-07 543
如果没有“拒绝”策略，Ranger策略和HDFS ACL之间最宽松的访问将用于授予对资源的访问权限。换句话说，除非您明确定义了适用于所访问资源的“拒绝”策略，否则将始终考虑HDFS ACL进行授权。 启用HDFS“拒绝”策略 默认情况下，Ranger UI中不提供“拒绝”策略。这主要是因为这个概念很难理解，使用“拒绝”政策时，事情很快就会变得一团糟。此外，对于大多数用户，永远不会使用此功能。使...
hadoop+kerberos+ranger Api整理（六）
weixin_40496191的博客
01-02 1308
hadoop相关组件api
hbase 二进制数据写入_HBase数据的读写流程
weixin_39881859的博客
12-21 243
HBase 的核心模块是 Region 服务器。Region 服务器由多个 Region 块构成，Region 块中存储一系列连续的数据集。Region 服务器主要构成部分是 HLog 和 Region 块。HLog 记录该 Region 的操作日志。Region 对象由多个 Store 组成，每个 Store 对应当前分区中的一个列族，每个 Store 管理一块内存，即 MemStoreo 当 ...
熟悉HDFS操作与Java API：实验二报告
本实验旨在帮助学生理解Hadoop分布式文件系统（HDFS）在Hadoop体系结构中的作用，并熟练掌握HDFS操作常用的Shell命令和Java API。通过这次实验，学生将能够在Linux操作系统中使用Hadoop 2.7.1版本及以上的HDFS进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值