![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
小小的人儿居然已存在
暂时没有描述
展开
-
HBASE知识点
当StoreFile文件数量增长到一定的阈值后,系统会进行合并,在合并过程中会进行版本合并和删除工作(写操作的时候都是append操作,不会有更新和删除动作,所以速度很快),形成更大的StoreFile。HBase自动把表水平划分成多个Region,每个Region会保存一个表里面某段连续的数据(类似MYSQL表的横向拆分),每个表最开始只有一个Region,随着数据不断插入,Region不断增大,当增大到一个阈值时,Region就会才分成两个新的Region(裂变)。存储所有Region的寻址信息。原创 2023-09-12 16:55:45 · 522 阅读 · 0 评论 -
了解Zookeeper总结知识点
Zookeeper是Apache下的一个开源的分布式协调中间件。是一个CP系统,为分布式系统提供强一致性的数据管理。底层基于类似文件系统的目录节点树方式进行数据存储。每个节点默认最大大小为1M,用于存储数据或节点信息。Zookeeper通过监控这些数据的状态变化,从而达到基于数据的集群管理。Zookeeper的一致性通过Zab协议实现,Zab协议有两种模式,分别是恢复模式和广播模式,对应着选主和同步两个阶段。原创 2023-09-12 10:59:56 · 276 阅读 · 0 评论 -
java连接Hbase操作数据库的全过程---搭建伪分布式hadoop环境
1.环境准备1.centos7+jdk8.0安装环境前先来了解下hbase与jdk和hadoop的版本兼容性问题:http://hbase.apache.org/book.html#basic.prerequisites,http://hbase.apache.org/book.html#hadoop本文选择hadoop-2.6.5.tar.gz和hbase-2.0.5-bin.tar...原创 2019-05-09 10:45:44 · 1344 阅读 · 0 评论 -
java连接Hbase操作数据库的全过程---搭建hbase数据库
前面已经搭建好了一个伪分布式的hadoop环境,传送门:https://blog.csdn.net/qq1049545450/article/details/90019159现在开始搭建hbase数据库:hbase数据库使用版本hbase-2.0.5-bin.tar.gz关于hbase和hadoop的版本选择在上一篇文章中已经说过了。3.搭建hbase环境搭建前先创建一个hadoop用...原创 2019-05-09 11:17:06 · 3202 阅读 · 0 评论 -
java连接Hbase操作数据库的全过程---java api操作Hbase数据库
要看hadoop和hbase搭建过程的通过传送门过去看:hadoop:https://blog.csdn.net/qq1049545450/article/details/90019159hbase:https://blog.csdn.net/qq1049545450/article/details/90023386在使用java操作Hbase数据库之前,先进行以下配置:对本地的h...原创 2019-05-09 17:13:44 · 3626 阅读 · 0 评论 -
大数据时代之CDH集群搭建
1. CDH简介在商业应用中,对于企业成百上千的机器集群进行安装hadoop一系列组件费时费力,而且hadoop各个开源组件版本混乱,管理升级也比较困难,对于企业日常的管理维护带来极大不b便,现在商用的比较流行国外的是CDH(Cloudera’s Distribution Including Apache Hadoop),国内是星环、华为等公司,他们改造封装了HADOOP生态组件来出售。CD...原创 2019-11-27 17:22:55 · 726 阅读 · 0 评论 -
大数据时代之Hadoop集群搭建
前面说搭建Hadoop+Hbase+Hive这些环境什么的太麻烦,说直接搭个CDH好了,结果看了几篇文章都说内存10G以下的就不要玩了,wtfk,我只是学习,又不是公司运维,我哪来这么大的服务器搞哦,算了还是一个个的搭吧。搭建Hadoop环境先前已经写过一篇Hadoop伪分布式搭建的文章了,这里就不再赘述了,贴链接:java连接Hbase操作数据库的全过程—搭建伪分布式hadoop环境标题...原创 2019-11-28 15:07:28 · 159 阅读 · 0 评论 -
大数据时代之java操作hdsf
前面已经讲过hadoop伪分布式和分布式环境搭建,参考大数据时代之Hadoop集群搭建本来想直接搞java代码操作hdfs的,想了想还是先简单的复习下命令行操作hdfs吧。其实hdfs操作起来是操作linux系统的文件个人认为很相似,只不过命令前面要加个hdfs dfs -或者hadoop fs -,如:#新建目录hdfs dfs -mkdir <path>或hadoop f...原创 2019-11-28 17:11:44 · 16374 阅读 · 0 评论