Spark on Hive部署

欢迎来到语语的自习笔记课堂

为了做好我们决定做的事情，我们必须拒绝所有不重要的机会。 
									-- 沃尔特・艾萨克森

前提：已安装好hive和hadoop

1.解压hive安装包至/opt/modole

tar -zxvf apache-hive[版本号] -C /opt/module

2.配置环境变量

vi /etc/profile

在/etc/profile下编辑：

export HIVE_HOME=/opt/module/apache-hive[版本号]
export PATH=$PATH:$HIVE_HOME/bin

3.使环境变量生效

source /etc/profile

4.配置Mysql数据库

前提：安装并启动了Mysql实例

在mysql中为Hive建一个新数据库和用户

a.创建Hive数据库

mysql -u root -p

CREATE DATABASE hive;

b.创建Hive用户

CREATE USER '用户名'@'%' IDENTIFIED BY '密码';
CREATE ALL PRIVILEGES ON *.* TO '用户名' WITH GRANT OPTION;
FLUSH PRIVILEGES;

5.配置Hive

在/opt/apache-hive[版本号]/conf下配置：

5.1）重命名’hive-env.sh’

cp hive-env.sh.temploy hive-env.sh

编辑hive-env.sh文件

vi hive-env.sh

export HADOOP_HOME=/opt/module/hadoop[版本号]
export HIVE_CONF_DIR=/opt/module/apache-hive[版本号]/conf
export HIVE_AUX_JARS_PATH=/opt/module/apache-hive[版本号]/lib

5.2)重命名’hive-site.xml’

cp hive-site.xml.template hive-site.xml

根据自己主机情况，查找并编辑以下内容：

<mysql-server> : mysql服务器的主机名
<mysql-port> : mysql服务器的端口
<your-password> : Hive用户的密码

6.配置Spark on Yarn

启用spark on yarn 支持，编辑’hive-site.xml’文件

vi hive-site.xml

7.启动Hive Sever 并提交 Spark on Hive 应用程序

7.1）启动Hive Server

hive --server hiveserver2 &

hiveserver2 : 用户名

7.2启动Spark on Hive应用程序

spark-submit --class [spark应用程序主类] --master yarn --deploy-mode client --executor-memory 1g --num-executors 2 --executor-cores 2 /path/to/yarn/spark/application.jar

/path/to/yarn/spark/application.jar : spark应用程序jar包的路径

8.关闭HIve Server（停止所有Hive服务）

hive --service metastore &
hive --service hiveserver2 &