六、安装配置Hive（第六次作业）

MySQL安装

官网下载mysql-server（yum安装）

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

若wget不可用，下载安装wget：

yum -y install wget

解压

rpm -ivh mysql-community-release-el7-5.noarch.rpm

安装

yum install mysql-community-server

重启mysql服务：

service mysqld restart

进入mysql：

mysql -u root

为root用户设置密码root：

mysql> set password for 'root'@'localhost' =password('root')

远程连接设置：
把在所有数据库的所有表的所有权限赋值给位于所有IP地址的root用户：

mysql> grant all privileges on *.* to root@' %'identified by 'root'

刷新权限：

mysql>flush privileges

如果是新用户而不是root，则要先新建用户：

mysql>create user 'username'@' %' identified by 'password'

重新安装mysql之前需彻底清除mysql。
查看是否有安装的mysql：

rpm -qa |grep -i mysql

依次卸载mysql各安装包：

rpm -e --nodeps 安装包名字

查看残留的mysql目录或文件：

find / -name mysql 、 whereis mysql

依次删除查询出的各目录：

rm -rf 目录名

删除mysql 配置文件：

/usr/my.cnf、 /root/.mysql_sercret。

Hive安装与配置

通过wget下载hive-2.3.5

wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.5/apache-hive-2.3.5-bin.tar.gz

解压

tar -zxvf apache-hive-2.3.5-bin.tar.gz -C

改名为hive

mv apache-hive-2.3.5-bin hive

修改环境变量
vi /etc/profile

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

Source命令更新etc/profile文件，使其生效。

配置 vi hive-env.sh
改名
修改Hadoop的安装路径
修改Hive的conf目录的路径

cp hive-env.sh.template  hive-env.sh
HADOOP_HOME=/opt/module /hadoop-2.7.7
export HIVE_CONF_DIR=/usr/local/hive/conf

配置vi hive-site.xml
改名

cp hive- default.xml.template  hive-site.xml 

添加属性

<property>
<!-- 元数据库的链接地址 mysql -->
       <name>javax.jdo.option.ConnectionURL</name>         
<value>jdbc:mysql://bigdata131:3306/hivedb?createDatabaseIfNotExist=true</value>
       <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<!-- 指定mysql驱动 -->
<!-- mysql5的驱动是com.mysql.jdbc.Driver，mysql6以后的是com.mysql.cj.jdbc.Driver。 --> 
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
</property>
<property>
<!-- 指定mysql用户名 -->
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>                    
</property>
<property>
<!-- 指定mysql密码 请输入自己的MySQL连接密码 -->
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
        <description>password to use against metastore database</description>
</property>

启动hive

启动Hadoop：

start-all.sh

初始化Metastore架构：

schematool -dbType mysql -initSchema

启动Hive：

hive

hive> 进入hive shell

Hive应用实例：wordcount

建数据源文件并上传到hdfs的/user/input目录下
建数据源表t1：

create table t1 (line string)

装载数据：

load data inpath '/user/input' overwrite into table t1

编写HiveQL语句实现wordcount算法，建表wct1保存计算结果：

create table wct1 as select word, count(1) as count from (select explode (split (line, ' ')) as word from t1) w group by word order by word

查看wordcount计算结果：

select * from wct1