hive安装及连接MySQL

60人阅读 评论(0) 收藏 举报

要在hive和MySQL之间建立连接,首先Linux里要有它们

一、首先进入MySQL官网下载所需的MySQL yum 仓库:


1.下载好之后,就将它上传至Linux中


2.接下来运行( rpm -Uvh  mysql57-community-release-el7-11.noarch.rpm)


上一步结束后,紧接着安装mysql (yum install mysql-community-server -y)


3.然后修改关闭密码验证:

    修改 /etc/my.cnf 在最后添加

                    plugin-load=validate_password.so

                    validate-password=OFF


4.开启MySQL  (systemctl start mysqld)

开启之后我们需要获取到临时密码,登陆到MySQL中(grep 'temporary password' /var/log/mysqld.log )


前面的root@localhost表示的用户名,我们使用刚才获取到的临时密码登录进MySQL,

执行ALTER USER 'root'@'localhost' IDENTIFIED BY 'root' ,将密码改成root

5.开启远程访问(这一步切记不可少,少了就连接不上本机的库工具

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY 'root' WITH GRANT OPTION;

这一步把用户名和密码,换成刚才修改的root

6.上一步结束之后,刷新一下权限  FLUSH PRIVLEGES

7.最后一步测试一下,本机里的SQLyog来连接一下刚才安装的MySQL,能连上就说明没有问题


二、安装hive(版本为apache-hive-2.3.2-bin.tar)

 1.解压hive,然后进去到hive中的conf文件夹中


 2.复制hive-default.xml.template这个文件,将其改名为hive-site.xml

 3.修改文件

 配置MySQL数据库的数据地址 在hive-site.xml中查找(javax.jdo.option.ConnectionURL)并修改(jdbc:mysql://coco:3306/hive?autoReconnect=true&useUnicode=true&createDatabaseIfNotExist=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC)

记住,想要快速地查找内容:vi 进入文件后,先按一下斜杠 /     在斜杠后面添加上想查的,按一下Enter

改完按Esc 


  4. 配置数据库的驱动 hive-site.xml中查找(javax.jdo.option.ConnectionDriverName)并修改为(com.mysql.jdbc.Driver)


5. 改连接的MySQL的用户名 在hive-site.xml中查找(javax.jdo.option.ConnectionUserName)

6. 改要连接的MySQL的密码hive-site.xml中查找(javax.jdo.option.ConnectionPassword)

7. 查看数据库的储存地址(hive.metastore.warehouse.dir )在这里不需要改动


8.下一步就是环境变量的配置了,这个应该很熟悉了,记得每次配置完刷新变量就好了!


三、启动hive

1.初始化schema


2.你会发现Linux里面并没有wget,所以需要我们自己去安装

切到root用户下,执行 yum -y  install wget


3.成功安装wget之后,切回hadoop用户下,进入lib目录(cd opt/apache-hive-2.3.2-bin/lib)

wget   http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar


4. 可是执行失败了,尝试多次没用,然后换成自己热点就好了。。。

你们如果碰到了这情况,前面操作都OK,也可以试试这方法


5.上一步成功之后,再次执行初始化 

schematool -dbType mysql -initSchema


注:在第一次做到这的时候,我并没有成功,原因就是没有进行远程访问


这就提示你,一个根本原因  不能和库服务器创建连接!

我打开本机的库服务器(SQLyog)一看,果然报错..... 是我太皮了,在安装MySQL的时候,少了一步操作--->远程连接主机!


进行完上一步操作就欧克了

6.

下面直接启动hive,会提示一个错误的原因,路径错误

需要我们去配置文件中修改(vi hive-site.sh)

此时此刻,要保证你的hadoop必须已经启起来了!start-dfs.sh和start-yarn.sh


7.复制一个SSH通道进入主题目录创建一个新目录hivetmppwd获取此路径然后将hive-site.xml查找到的<value>值所有的都替换掉我想提醒的只有只有两处,需要保留原先的



8.这一步直接输入hive


进入到mysql 中,查看数据库(show databases),发现hive在里面了


也可以查看hive库里的表



访问hive的另外一种方法:进入到apache-hve-2.3.2-bin.tar/bin目录下

    [hadoop@python2 bin]$ hiveserver2


复制一个ssh通道,在输入    ./beeline -u jdbc:hive2://






查看评论

安装Hive(独立模式 使用mysql连接)

安装Hive(独立模式 使用mysql连接)   1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包     tar zx...
  • chengxuyuanyonghu
  • chengxuyuanyonghu
  • 2017年02月08日 10:29
  • 296

hive1.1.0安装与配置(远程mysql)

以下操作在hdpsrc3 节点上操作 一,下载安装包 1,下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.g...
  • wang1472jian1110
  • wang1472jian1110
  • 2016年01月20日 16:32
  • 813

Hive的安装配置和连接mysql

一、基础介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件(存储在hdfs中)映射为一张数据库表,并提供类SQL查询功能,通过使用hive的sql脚本来操作数据(hql),本质...
  • login_sonata
  • login_sonata
  • 2016年11月15日 22:16
  • 4749

hive的远程模式安装(用mysql作为hive的元数据库)

主机ip(主机名): 192.168.80.10(Master) 192.168.80.11(Slave1) 192.168.80.12()Slave2 在主机Master中解压hive: tar –...
  • zhihaoma
  • zhihaoma
  • 2015年09月19日 20:10
  • 2917

hive连接mysql配置

1、进入hive/conf目录下,修改hive-default.xml:  @baidu, I 修改的是 hive-site.xml     hive.metastore.local    tr...
  • robby_chan
  • robby_chan
  • 2013年07月30日 16:09
  • 1935

hive本地模式配置,连接mysql数据库--hive2.1.1+hadoop2.7.3+mysql5.7.18

本人在开源中国上的博文,同系列 hive本地模式配置,连接mysql数据库--hive2.1.1+hadoop2.7.3+mysql5.7.18...
  • ychcqshan
  • ychcqshan
  • 2017年06月09日 13:40
  • 467

Linux下的Hive与Mysql安装

一,安装MySQL sudo apt-get install mysql-server mysql-client 1). 建立数据库hive, create database hive; ...
  • young_so_nice
  • young_so_nice
  • 2016年05月22日 00:40
  • 2090

hive安装配置及连接JDBC基本操作

1.下载hive http://36.250.74.55/ws.cdn.baidupcs.com/file/10e3283a3c9368b097f5a7f3c19d9a73?bkt=p2-nj-3&...
  • zfy1355
  • zfy1355
  • 2016年02月18日 17:02
  • 2587

hive安装与mysql对接

Hive只在一个节点上安装即可 必须有hadoop的支持 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz 3.配置mysql metastor...
  • sky007rain
  • sky007rain
  • 2016年04月13日 17:16
  • 994

安装并使用mysql5.7作为hive的metastore

前言hive的metastore默认是使用derby来作为metastore,但是derby有一个缺点是不能支持多用户链接,虽然你可以通过切换目录来支持,但是不同目录的metastore会不一致,所以...
  • yingxiake
  • yingxiake
  • 2016年06月13日 13:47
  • 4319
    个人资料
    持之以恒
    等级:
    访问量: 2029
    积分: 332
    排名: 23万+
    文章分类
    文章存档
    最新评论