Hive 安装-使用HDFS文件系统

1.下载、解压Hive

下载网站：http://www.apache.org/dyn/closer.cgi/hive/
百度网盘：链接：https://pan.baidu.com/s/16QzSgxa_VLnJ7ksnLUrtEw
提取码：ef9b

这里下载的是2.3.4 版本。

1. 解压到 /home/hadoop/目，并修改名称：

tar -zxvf apache-hive-2.3.4-bin.tar.gz -C ~/
mv apache-hive-2.3.4-bin hive-2.3.4

2. 配置环境变量
   vim ~/.bashrc

export HIVE_HOME=/home/hadoop/hive-2.3.4
export PATH=$PATH:$HIVE_HOME/bin/

执行 source ~/.bashrc

2. 安装MySQL

1. 不同版本请百度，这里简述Ubuntu版本安装命令：

sudo apt-get install mysql-server
 
sudo apt-get isntall mysql-client
 
sudo apt-get install libmysqlclient-dev

2. 创建用户

• 使用root 用户登录
• 创建数据库
• 创建普通用户：bee，密码：123456：
• 授权bee用户拥有刚才创建数据库的所有权限
• 刷新权限表

mysql -uroot -p

create database hiveDB DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create user 'bee' identified by '123456';

grant all privileges on hiveDB.* to 'bee'@'%' identified by '123456';

flush privileges;

登录 bee用户查看数据库：

重点：

将JDBC驱动文件复制到Hive的lib目录：

3. 配置Hive

目录：hive-2.3.4/conf

1. hive-env.sh
   在末尾加入Hadoop安装目录，如博主的目录为：

HADOOP_HOME=/usr/local/hadoop

2. hive-site.xml
   目录下应该不存在，所以自己创建，在此附上完整配置代码：
   注意修改对应位置为自己的主机名，数据库密码。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

	<property>
		<name>hive.exec.scratchdir</name>
        <value>/tmp/hive</value>
	</property>
	<property>
		<name>hive.metastore.warehouse.dir</name>
        <value>hdfs://master:9000/hive/warehouse</value>
        <description>location to default database for the warehouse</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
        <description>Hive access metastore using JDBC connectionURL</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>bee</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
        <description>password to access metastore database</description>
	</property>
	<property>
		<name>javax.jdo.option.Multithreaded</name>
		<value>true</value>
	</property>

    <!-- 分割 -->

	<property>
		<name>hive.metasotre.schema.verification</name>
		<value>true</value>
	</property>

</configuration>

3. HDFS创建目录
   开启HDFS情况下，创建上述配置中的目录，并赋予权限：

hdfs dfa -mkdir -p /tmp/hive

hdfs dfs -mkdir -p /hive/warehouse

hdfs dfs -chmod -R g+w,o+w /tmp

hdfs dfs -chmod -R g+w,o+w /hive 

4. 初始化数据库
   命令：

hadoop@master:~$ schematool -dbType mysql -initSchema

5. 启动Hive

Hive的HQL操作和SQL几乎一样，这里简单示例，default为系统自带数据库：