数据仓库与技术及应用（MySQL与Hive的安装）

一、安装MySQL

（1）在线安装

MySQL $sudo apt-get install mysql-server //服务

$sudo apt-get install mysql-client //客户端

$sudo apt-get install libmysqlclient-dev //驱动

（2）连接MySQL数据库

$sudo mysql -u root –p

use mysql; //切换数据库

UPDATE user SET plugin="mysql_native_password",

authentication_string=PASSWORD("root"), host="%" WHERE user="root";

FLUSH PRIVILEGES ; //刷新权限

exit;

（3）创建用户

$sudo mysql -u root –p

CREATE USER 'hive'@'%' IDENTIFIED BY  'hive';

CREATE DATABASE hive; GRANT ALL ON hive.* TO'hive'@'%' IDENTIFIED BY 'hive';

FLUSH PRIVILEGES ;

exit  

（4）修改MySQL配置文件，允许远程访问

$sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

将bind-address = 127.0.0.1行注释掉

（5）重启MySQL服务

$sudo service mysql restart

二、Hive安装与配置

（1）软件下载

（2）解压Hive安装文件

$sudo tar -zxvf   apache-hive-3.1.2-bin.tar.gz -C /usr/local

$sudo mv /usr/local/apache-hive-3.1.2-bin/ /usr/local/hive

$sudo chown -R hadoop:hadoop /usr/local/hive

（3）配置环境变量，并使其生效

$gedit  ~/.bashrc 写入下列信息：

export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin

$source ~/.bashrc

（4）添加MySQL驱动

$mv mysql-connector-java-8.0.23.jar /usr/local/hive/lib/

（5）创建、配置hive-site.xml文件

$cd  /usr/local/hive/conf

$cp  hive-default.xml.template  ./hive-site.xml

$gedit  ./hive-site.xml

将配置文件中的内容替换为如下配置

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<configuration>

<property>    

<name>javax.jdo.option.ConnectionURL</name>    

<value>jdbc:mysql://localhost:3306/hivecreateDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>  

</property>  

<property>    

<name>javax.jdo.option.ConnectionDriverName</name>     <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>    

<name>javax.jdo.option.ConnectionUserName</name>    

<value>hive</value>  

</property>  

<property>    

<name>javax.jdo.option.ConnectionPassword</name>    

<value>hive</value>  

</property>  

<property>    

<name>hive.server2.logging.operation.enabled</name>  

  <value>false</value>  

 </property>

</configuration>

（6）创建、配置hive-env.sh 文件

$cd  /usr/local/hive/conf

$ cp hive-env.sh.template  hive-env.sh

$gedit  hive-env.sh

在hive-env.sh文件中加入下列配置信息：    

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_231    

export HIVE_HOME=/usr/local/hive    

export HADOOP_HOME=/usr/local/hadoop

（7）修改Hadoop集群配置core-site.xml，添加如下配置并重启集群

<property>

<name>hadoop.proxyuser.hadoop1.groups</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop1.hosts</name>

<value>*</value>

</property>

$stop-all.sh $start-all.sh

（8）Hive初始化

$ schematool -initSchema -dbType mysql -verbose

（9）启动远程服务HiveServer 2

$hiveserver2 &

（10） 打开控制台命令行工具

$hive

$beeline -u jdbc:hive2://master:10000 -n hadoop -p hadoop

create table test(id string);

insert into test value (“”);

三、Derby与MySQL的区别

Derby只支持单个用户的使用，而MySQL支持多个用户的使用