![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据组件
文章平均质量分 79
薛定谔的猫不吃猫粮
这个作者很懒,什么都没留下…
展开
-
手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本
手把手教你快速在生产环境搭建Doris集群原创 2023-03-17 15:54:44 · 3279 阅读 · 0 评论 -
ranger_core_db_mysql.sql file import failed
异常信息:Error executing: CREATE FUNCTION `getXportalUIdByLoginId`(input_val VARCHAR(100)) RETURNS int(11) BEGIN DECLARE myid INT; SELECT x_portal_user.id into myid FROM x_portal_user WHERE x_portal_user.login_id = input_val; RETURN myid; END java.sql.SQLEx原创 2022-04-01 10:42:12 · 781 阅读 · 0 评论 -
HBase2.2.7从源码编译到高可用部署 整合整合Phoenix5.1.0 二级索引 整合hive3.1.2
HBase源码编译与安装配置HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。高可靠/高性能/面向列/可伸缩的分布式文件存储系统。Hbase源码编译1.环境配置jdk,maven安装配置2.下载下载地址:https://hbase.apache.org/downloads.html3.上传解压将下载的源码包上传到/opt/src目录下并解压[root@localhost src]#tar -zxvf hbase-2.2.7-src.tar.gz4.选择hado原创 2021-05-31 15:02:30 · 776 阅读 · 1 评论 -
hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细
hive编译自从CDH宣布收费之后,公司决定使用开源的组件,对现有的大数据集群进行替换。使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。目前,有关hive3.1.2编译的原创 2021-05-21 16:13:35 · 6458 阅读 · 15 评论 -
hadoop3.1.4 完全分布式搭建HA(namenode resourcemanager高可用)保姆级教程-详细步骤-快速搭建-详解配置-历史服务器
一. 集群规划ip主机名安装进程192.168.204.14hdp14namenode,ZKFC,resourcemanager192.168.204.15hdp15namenode,ZKFC,resourcemanager192.168.204.16hdp16natanode,nodemanager,zookeeper,Journalnode192.168.204.17hdp17natanode,nodemanager,zookeeper,Jour原创 2021-05-08 14:25:43 · 1315 阅读 · 0 评论 -
linux下对Hadoop3.1.4源码编译(详细步骤,附所有资源下载地址)
Hadoop源码编译环境准备1.系统环境虚拟机安装 centos7已配置好网卡,能联网root用户安装2.软件安装包下载jdk8下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop-3.1.4-src.tar.gz 源码下载https://hadoop.apache.org/releases.htmlapache-maven-3.6.3原创 2021-05-06 16:28:59 · 1513 阅读 · 0 评论 -
hive高可用部署 HiveServer2高可用(HA)Metastore高可用(HA)基于Apache hive 3.1.2
HiveServer2 高可用修改配置hive-site.xml,增加一下内容<property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value></property><property> <name>hive.server2.zookeeper.namespace</原创 2021-04-20 17:54:46 · 2223 阅读 · 2 评论 -
Flink on Yarn (HA)高可用部署 基于flink1.12 CDH5.8.5 保姆级操作
Flink on Yarn -CDH5部署1.1 Flink模式Flink有开发模式,Local-cluster模式,Standalone模式,Yarn模式这里我们搭建在CDH集群上,我们采Flink on Yarn,由Yarn统一管理集群资源1.2 Yarn模式部署 独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。 但是Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度原创 2021-04-20 16:50:33 · 1450 阅读 · 1 评论