实验六

实验六（安装配置Hive、MySQL及其JDBC驱动。编写HiveQL语句，实现数据库、表、视图的基本操作。编写HiveQL语句实现wordcount程序）

一.MySQL安装

①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget
②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm
③安装yum install mysql-community-server
④重启mysql服务：
service mysqld restart （以后开机不需启动mysql）
⑤进入mysql：mysql -u root为root用户设置密码root：

mysql> set password for 'root'@'localhost' =password('root')

二.Hive安装与配置

①下载压缩包官网下载地址：http://mirror.bit.edu.cn/apache/hive/ 选择apache-hive-2.3.4-bin.tar.gz，在Windows里面下载。
②将压缩包从Windows传输到Linux当前目录下
③解压解压安装到指定目录下/opt/module（/opt是系统自带目录，之下的/module是自己创建的）修改解压目录名为hive。
④修改环境变量修改etc/profile文件，添加HIVE_HOME安装路径。Source命令更新etc/profile文件，使其生效。
⑤配置hive-env.sh进入/opt/module/hive/conf目录，修改hive-env.sh.template的文件名为hive-env.sh。（可以使用cp或者mv命令）cp hive-env.sh.template hive-env.sh
修改Hadoop的安装路径HADOOP_HOME=/opt/module /hadoop-2.7.3
⑥配置hive-site.xml进入/opt/module/hive/conf目录，修改default.xml.template的文件名为hive-site.xml。（可以使用cp或者mv命令）cp hive- default.xml.template hive-site.xml
修改conf的路径：export HIVE_CONF_DIR=/opt/module/hive/conf
三.MySQL Connector/J安装

①下载压缩包官网下载地址：http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/ mysql-connector-java-5.1.47.tar.gz
②将压缩包从Windows传输到Linux当前目录下
③解压解压到指定目录下/opt/module（/opt是系统自带目录，之下的/module是自己创建的）
④拷贝驱动包将驱动包mysql-connector-java-5.1.47-bin.jar复制到/opt/module/hive/lib目录中。
四.启动hive
①启动Hadoop：start-all.sh
②初始化Metastore架构：schematool -dbType mysql -initSchema
③启动Hive：hivehive> 进入hive shell
④创建/删除/修改/查看 数据库、表、视图，向表中装载数据，查询数据等等。
五.Hive应用实例：wordcount
①建数据源文件并上传到hdfs的/user/input目录下
②建数据源表t1：create table t1 (line string);
③装载数据：load data inpath '/user/input' overwrite into table t1;
④编写HiveQL语句实现wordcount算法，建表wct1保存计算结果：create table wct1 as select word, count(1) as count from (select explode (split (line, ' ')) as word from t1) w group by word order by word;

⑤查看wordcount计算结果