CDH5.2安装更换hive元数据存储数据库遇到的问题

最新推荐文章于 2021-11-02 17:09:33 发布

Zaya0402

最新推荐文章于 2021-11-02 17:09:33 发布

阅读量253

点赞数

原文链接：http://www.cnblogs.com/xhwangspark/p/5775209.html

版权

在安装到选择数据存储测试数据库链接时，提示驱动问题，按照网上说的驱动程序拷贝到/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib 目录下，

但是不行，后来在QQ群里请教，原来是要更改配置文件，路径

/etc/cloudera-scm-agent 下面的 config.ini ，打开文件如下图：

修改驱动信息，保存，服务重启后连接OK。

service cloudera-scm-agent restart

转载于:https://www.cnblogs.com/xhwangspark/p/5775209.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Zaya0402

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

变更CDH集群元数据库地址

u013176920的博客

09-09

762

CDH集群中会遇到元数据库的迁移，迁移后数据库的IP地址发生变化或是元数据库做主备，在主节点挂掉后，需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。 1、停止cm页面cdh和cms服务 2、在cm节点主机上停止cloudera-scm-server服务 systemctl stop cloudera-scm-server 3、停止CM和CDH集群后，如果是迁移数据库则可以对数据库进行迁移操作（如果只是主备切换则跳过此步）将原MariaDB数据库数据导出 mysql

CDH hive迁移测试

u013168566的博客

12-07

669

工作上有一个需求，要把整个hive 迁移到另一套环境上做一个测试。源环境的hdfs 没有做ha ，目标环境的hdfs 做了ha，完成工作后，整理过程为以下步骤： 1、把hive 的文件从hdfs 取出到本地，并打包，方便传输 hive 内表文件 hadoop fs -copyToLocal /user/hive/warehouse /root/warehouse hive 外表文件 hadoop ...

参与评论您还未登录，请先登录后发表或查看评论

hive数据迁移，cdh3u5的hive中数据迁移到cdh5.1的hive中

weixin_34407348的博客

10-29

128

2019独角兽企业重金招聘Python工程师标准>>> ...

CDH使用之Hive元数据库的修改

07-01

616

一、配置前准备 1、添加hive组件在CM端，我们首先安装hive服务：主页-添加服务选择hive服务选择依赖项，可能有多个依赖关系自定义角色分配选择数据库，选择mysql数据库，自定义数据库-测试连接注：此处需要先在服务器上配置了相应的mysql数据库（参看数据库准备），然后此处填相应的数据库名称、用户名、密

hive相关元数据迁移（mysql）

空中的鱼

11-18

869

mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql create database sentry DEFAULT CHARACTER SET utf8; grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; flush PRIVILEG...

HIve讲解（详细）

热门推荐

Ele_sorriu的博客

12-17

2万+

Hive 一、Hive基本概念 1.1、Hive简介什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短 MapReduce实现复...

史上最全的手动 CentOS6.5 CDH5.16.2离线安装

屌丝骑象看世界

09-17

4684

史上最全的手动 CentOS6.5 CDH离线安装文章目录史上最全的手动 CentOS6.5 CDH离线安装1. 集群环境及安装包1.1. 集群环境1.2. 准备安装包2. 环境准备2.1. 配置hosts映射2.2. 配置SSH免密登录2.3. 配置时间同步2.4. 关闭防火墙2.5. 关闭SELINUX2.6. 修改Linux内核参数2.7. 关闭大页面压缩2.8. 修改linux 文件最大...

Hive之快速入门以及安装部署

君永夜

03-04

389

1.生产中常使用的SQL on hadoop 框架主流sql on hadoop有Hive、Spark SQL、Phonix 扩展1：hadoop 由hdfs，yarn，mr组成，守护进程nn与rm容易出现单点故障，而生产中要求是任何一个流程都要考虑到单点故障，任何一个组件环节都必须是HA(高可用)，生产中nn，rm都至少两个，实时热备。 2.Hive简介 Hive是Apache基金会的...

Hive总结

CharlesDavid

12-29

651

Hive总结文章目录Hive总结一 Hive基本概念1 Hive简介1.1 什么是 Hive1.2 为什么使用 Hive2 Hive 架构2.1 Hive 架构图2.2 Hive 组件2.3 Hive 与 Hadoop 的关系3 Hive 与传统数据库对比4 Hive 数据模型5 Hive 安装部署二 Hive 基本操作2.1 Hive HQL操作初体验2.2 Hive的内部表和外部表2.3 分区表2.4 动态分区三 Hive 函数3.1 内置运算符3.2 内置函数3.3 Hive 自定义函数和 Tran

七、Linux下Hive安装搭建

I want to know a little more.

01-11

362

本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1. 相...

cloudera manager中添加hive数据库使用mysql的配置步骤

06-20

cloudera manager中添加hive数据库使用mysql的配置的详细步骤

CDH重新初始化Hive元数据库

qq_32068809的博客

10-21

2336

初始化元数据需要使用cdh hive中的schematool 脚本工具进行初始化，初始化脚本位置为cloudera/parcels/CDH/lib/hive/bin/ 接下来执行初始化命令 ./schematool -initSchema -dbType mysql --verbose 执行报错： [root@prod-bigdata-pc7 bin]# ./schematool -dbType mysql -initSchema -passWord root -userName root --

CDH集群配置目录汇总

Tate的博客

11-02

6310

CDH集群配置目录汇总1、CDH目录汇总2、CM详解2.1 Service Monitor：2.2 Host Monitor：2.3 server/agent配置目录2.4 server/agent日志目录2.5 Parcels包安装目录2.5.1 服务软件包数据(parcels)2.5.2 服务软件包缓存数据2.6 CDH配置数据库连接信息脚本目录3、CDH安装路径4、CDH组件详解4.1 组件安装目录4.2 组件配置路径4.3 组件shell客户端命令4.4 组件日志目录4.5 服务运行时所有组件的配置

cdh的hive配置文件位置_配置CDH6使用文件存储HDFS

weixin_39685392的博客

12-22

1150

CDH6 Hive服务的元数据存储在Mysql，进入存储Hive元数据的Mysql数据库，修改DBS表和SDS表相应的值，如下所示。说明在进行元数据修改的时候，建议使用root用户，或者其他有权限的用户，避免因为权限问题导致修改失败。其中mysql服务的root用户密码是在搭建CDH服务时设置的密码。MySQL [(none)]> use cdh6hive ;#修改表“DBS”中的数据My...

Hive初始化mysql作为元数据库失败（ERROR：sytax error...Schma script failed以及Unknow Version specifid）

qq_40343117的博客

08-24

1468

首先先说我的解决办法是重装mysql，下面是我对这个问题的一点理解我第一次初始化mysql的时候提示第二次提示虽然两次错误都不一样，但是很奇怪的是明明更改了hive-site.xml的配置，为什么初始化还是提示的derby内容，我也搜了很多，加了很多配置信息，但是还是没用，这里我的错误原因是因为一开始我就想当然的直接给hive-default.xml给改名了，也没复制，最后我给复制了一个改了...

CDH 5.3.9(parcels)集群中hive0.13.0升级到hive-1.2.1步骤全，升级hive元数据库，数据不丢失

简单的心的博客

11-19

1486

1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.将安装包传到集群所有节点上 3.所有节点root用户下 cd /opt/cloudera/parcels/CDH/lib/hive mkdir lib121 4.所有节点解压 apache-hi...

cloudera manager 更换MySQL机器

qq_18629653的博客

11-10

669

更换存储cm元数据的MySQL的位置n1机器更换到n2 由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些服务并更改相应的配置。一、停止相关的所有服务我这里只停止cloudera managerserver就可以了二、备份原数据库 mysqldump -uroot -p -hn1 --opt...

cdh hive mysql 元数据常用介绍

qq_34897849的博客

12-18

778

table version select * from version; +--------+----------------+----------------------------+ | VER_ID | SCHEMA_VERSION | VERSION_COMMENT | +--------+----------------+---------------------...

cloudera manager安装hive各种坑解决方案

02-08

3522

问题一（Hive元数据库编码异常）问题描述：解决方案： ##设置hive数据库编码为latin1 mysql > alter database hive character set latin1; 问题二（JDBC版本异常）问题描述：解决方案： JDBC Driver版本过低引起的异常，使用高版本的JDBC驱动问题三 ...

CDH5.4.0离线安装步骤与元数据刷新问题解决

"这篇资料主要介绍了在CDH Cloudera环境下进行离线安装的过程，特别是针对元数据刷新和JDK安装的步骤。作者通过个人技术博客分享了详细的操作指南，包括登录Cloudera Manager，选择版本，安装JDK，以及解决安装过程...