大数据开发
文章平均质量分 72
DP323
这个作者很懒,什么都没留下…
展开
-
报错:Regions In Transition
1、问题解析在执行Region Split时,因为系统中断或者HDFS中的Region文件已经被删除。Region的状态由master跟踪,包括以下状态: State Description Offline Region is offline Pending Open A request to open the region was sent to the server ..原创 2021-08-09 08:23:36 · 2674 阅读 · 0 评论 -
CDH6.2.0安装phoenix5.0.0
前言 因为公司业务需求是能根据表的某列或多列进行查询,所以考虑在HBase的基础上增加二级索引,为了实现此功能,考虑了两种解决方案:协处理器 和phoenix。 网上文章和教学视频的分析中都说明phoenix 更合适,原因有三:1、协处理器编程较为麻烦;2、phoenix非常适合原关系数据库开发人员;3、phoenix提供了较为强大的优化功能,能提升hbase的存储查询性能; 公司配备了三台服务器(这里暂且命名为node1、node2、node...原创 2021-08-05 10:56:34 · 1001 阅读 · 6 评论 -
cloudera目录结构
/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。/usr/bin/postgres : 内嵌数据库程序。/etc/cloudera-scm-agent/ : agent的配置目录。/etc/clou..转载 2021-08-02 08:11:59 · 283 阅读 · 0 评论 -
HBase客户端JAVA开发(二)
HBase客户端JAVA开发(二)接上一篇HBase客户端JAVA开发(一),本篇在HBase客户端通过IDEA平台使用JAVA编程实现以下功能:1.判断一张表是否存在2.在hbase中创建表3.删除hbase的表4.往表插入数据5.扫描表数据 (scan全表扫描)一、DEMO目录树结构在resources下只需要添加hadoop配置中的core-site.xml(可到集群节点中的/etc/hadoop文件夹中下载)、hbase-site.xml(可到集群节原创 2021-07-19 11:41:49 · 278 阅读 · 3 评论 -
HBase的工作机制
一、基本工作机制1、表(table)按区域(region)进行横向划分:region0(00000~99999)、region1(100000~999999)、region2……表不断增大,依次划分成多个region;2、表(table)按列族(columfamily)进行竖向划分:列族1、列族2…………,列族是固定的;3、多个hbase服务器(也称为region server,部署在datanode上)负责管理各个region,一个region server可以管理不同表上的region;原创 2021-05-26 16:59:22 · 422 阅读 · 0 评论 -
HBase客户端JAVA开发(一)
集群版本:CDH6.2.0集群Hadoop版本:Hadoop 3.0.0-cdh6.2.0集群HBase版本:2.1.0-cdh6.2.0操作系统:WIN10IntelliJ IDEA版本:IntelliJ IDEA 2019.2.1apache-maven-3.6.1(相关配置另行查找)一、创建Maven项目1、填写GroupId和ArtifactId,设置项目保存位置/2、项目创建好后,修改maven setting二、配置项目pom.xml1...原创 2021-05-25 09:32:15 · 463 阅读 · 0 评论 -
HBase客户端开发(一)
HBase客户端开发(一)一、在客户端输入:hbase shell 时,报错:原因是缺少jansi包,从CDH中拷贝jansi-1.9.jar到客户端的lib文件夹中,解决问题;二、建表时,报错:出现该问题的原因是因为中途有两台服务器被撤走,造成HMaster旧的元数据信息没有删除,使用zookeeper删除hbase旧的元数据后重启hbase即可。解决过程:1、找到zookeeper的安装目录,centos系统下默认为/usr/bin#cd /usr/bin#l原创 2021-05-13 17:10:01 · 250 阅读 · 0 评论