wux_labs
这个作者很懒,什么都没留下…
展开
-
大数据FusionInsightHD-07.HBase从C50迁移到6.5.1(03)6.5.1上准备Loader
在FusionInsight HD集群的HBase数据迁移过程中,需要通过Loader将老集群FusinInsight C50上获取HBase的数据加载到新集群FusionInsight 6.5.1,因此需要在新集群FusionInsight 6.5.1中添加Loader以及具有相应权限的用户loaderUser。本文主要介绍如何在新集群FusionInsight 6.5.1中创建loaderUser用户以及如何添加配置Loader。原创 2023-09-05 12:06:28 · 533 阅读 · 6 评论 -
大数据FusionInsightHD-06.HBase从C50迁移到6.5.1(02)C50上准备FTP Server
在FusionInsight HD集群的HBase数据迁移过程中,需要通过FTP-Server从老集群FusinInsight C50上获取HBase的数据,因此需要在老集群FusinInsight C50中添加FTP-Server以及具有相应权限的用户ftpUser。本文主要介绍如何在老集群FusinInsight C50中创建ftpUser用户以及如何添加配置FTP-Server。原创 2023-09-04 12:02:41 · 673 阅读 · 2 评论 -
大数据FusionInsightHD-05.HBase从C50迁移到6.5.1(01)迁移概述
项目上最近全新部署了FusionInsight HD 6.5.1大数据集群,并且希望将老集群FusinInsight HD C50的所有业务都迁移到新集群上。由于在老集群C50上的HDFS、HBase中存在有大量的业务数据,因此将业务从C50迁移到6.5.1的过程中,就需要将C50上的业务数据同步迁移到新集群6.5.1上。原创 2023-09-07 14:43:29 · 1099 阅读 · 11 评论 -
大数据FusionInsightHD-04.FusionInsight HD 6.5.1 集群中遇到的问题(01)
在读取数据的时候,我们遇到了org.apache.phoenix.jdbc.PhoenixDriver类不存在的问题,我们添加了依赖包phoenix-core-4.13.1-HBase-1.3.jar。这个问题的主要原因是:在安全模式下,如果需要通过Spark操作HBase,即Spark-on-HBase,则需要启动HBase的验证功能,该配置默认是false的,需要将其修改为true。在Spark应用程序中,如果操作了HBase或者Phoenix,那么在提交程序到集群运行的时候可能会遇到认证失败的问题。原创 2023-08-18 18:15:49 · 458 阅读 · 0 评论 -
大数据FusionInsightHD-03.FusionInsight HD 6.5.1 客户端安装
本文主要介绍FusionInsight HD 651客户端软件的安装。包括客户端安装、自定义用户认证、环境验证等内容。原创 2023-07-14 14:48:48 · 672 阅读 · 0 评论 -
大数据FusionInsightHD-02.FusionInsight HD 6.5.1 创建集群-Yarn
本文主要介绍FusionInsight HD集群的创建。我们先从最小化集群、Yarn集群开始,创建一个FusionInsight HD集群。原创 2023-07-27 18:08:23 · 285 阅读 · 0 评论 -
大数据FusionInsightHD-01.FusionInsight HD 6.5.1 安装集群
Fusionlnsight HD是华为开发的大数据平台,基于开源社区软件进行功能增强,对外提供大容量的数据存储、查询和分析能力,可运行在X86服务器或华为TaiShan服务器上。原创 2023-07-20 11:11:34 · 313 阅读 · 0 评论