成功实现了:Hive-2.3.2 on spark-2.0.0 编译安装配置-详细流程

首先说明一下hive on spark的版本信息:

jdk-1.8.0

scala-2.11.8

apache-hive-2.3,2.tar.gz

Hadoop-2.7.1

spark-2.0.0-src

maven-3.6.0 注意需要配置maven源(最好配置国内源信息,这样下载会比较快)

下面的配置信息是在maven/conf/settings文件的160行的位置加入。

<mirror>

       <id>nexus-aliyun</id>

    <mirrorOf>central</mirrorOf>

    <name>Nexus aliyun</name>

     <url>http://maven.aliyun.com/nexus/content/groups/public</url>

 

</mirror>  

 

还有hive的安装包,spark-2.0.0的源码包,下面给出我编译好的。链接:

链接:https://pan.baidu.com/s/1HLby39saTvIUOb0j8GkhiA

提取码:3gsy

上面是spark的编译包

下面是apache-hive-2.3.2

http://archive.apache.org/dist/hive/hive-2.3.2/  或者到这个链接地址下载

链接:https://pan.baidu.com/s/1Q4Sq41k_YI19DSBQQIdUuQ

提取码:r056

1、单机版本 :

   1.1安装hadoop2.7.1 伪分布式安装

       1.1.1修改配置文件

 Hadoop-env.sh

                修改JAVA_HOME=export JAVA_HOME=/usr/local/jdk1.7.0_45

core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://mini01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>  文件存储的名称

<value>/home/hadoop/hdpdata</value>  文件的存储路径

</property>

yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>mini07</value>

</property>

 

<property>

//reduce获取数据的方式 shuffle

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

hdfs-site.xml

<property>

<name>dfs.replication</name>  block的副本数  默认是3个

<value>2</value>

</property>

mapred-site.xml

<property>

<name>mapreduce.framework.name</name> 表示mapreduce运行在yarn上面

<value>yarn</value>

</property>

savles

//存放的是datanode的节点名称

localhost

 1.1.2配置环境变量

  cd /etc/profile

  export HADOOP_HOME=…..

  source /etc/profile

1.1.3格式namenode

    操作: hdfs namenode -format

  

common.Storage: Storage directory /home/hadoop/hdpdata/dfs/name has been successfully formatted.  //表示格式化成功

 

1.1.4启动hadoop伪分布式

cd 到hadoop目录的/sbin/start-all.sh

2、spark编译

二.下载源码spark2.0.0,编译

下载地址:http://archive.apache.org/dist/spark/spark-2.0.0/

编译: ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided"

三.将编译好的spark-2.0.0-bin-hadoop2-without-hive.tgz

tar -zxvf  spark-2.0.0-bin-hadoop2-without-hive.tgz -C /home/Hadoop/apps/

 

在/etc/profile里配置好 $SPARK_HOME环境变量,并 . /etc/profile使环境变量生效。

export JAVA_HOME=/usr/local/jdk1.8.0_171

export SCALA_HOME=/usr/local/scala-2.11.8

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.1

export ZOOKEEPER_HOME=/home/hadoop/apps/zookeeper-3.4.7

export MAVEN_HOME=/home/hadoop/apps/apache-maven-3.6.0

export SPARK_HOME=/home/hadoop/apps/spark-2.0.0-bin-hadoop2-without-hive

export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.2-bin

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$MAVEN_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin

 

上面是整个环境变量的配置

编辑spark的配置文件 cd /spark/conf

spark-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_171

export SCALA_HOME=/usr/local/scala-2.11.8

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.1

export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.1/etc/hadoop

export HADOOP_YARN_CONF_DIR=/home/hadoop/apps/hadoop-2.7.1/etc/hadoop

export SPARK_HOME=/home/hadoop/apps/spark-2.0.0-bin-hadoop2-without-hive

export SPARK_WORKER_MEMORY=512m

export SPARK_EXECUTOR_MEMORY=512m

export SPARK_DRIVER_MEMORY=512m

export SPARK_DIST_CLASSPATH=$(/home/hadoop/apps/hadoop-2.7.1/bin/hadoop classpath)

3) 把spark/jars/*.jar 全部上传到hdfs的目录下,这样在每次run application 的时候,不需要每次都去分发这些jar包资源。

hdfs dfs -mkdir /spark-jars

hdfs dfs -put ./jars/*.jar /spark-jars

4) 启动spark进行验证:

  start-all.sh

看web UI

5) 安装配置hive

  首先在mysql数据库里面创建hive数据库和相关的用户  该数据库是用来保存hive的元数据信息的。

*)创建一个新的数据库:create database hive;

*)创建一个新的用户:

 create user 'hiveowner'@'%' identified by ‘hive’; //表示用户名hiveowner pass: hive

*)给该用户授权

    grant all on hive.* TO 'hiveowner'@'%';

   grant all on hive.* TO 'hiveowner'@'localhost' identified by 'hive';

6) 设置hive的环境变量 这个前面已经弄过了。

7) 拷贝spark下的jar包到hive的lib下

cp scala-library-2.11.8.jar /usr/share/hive-2.3.3/lib/

cp spark-core_2.11-2.0.0.jar /usr/share/hive-2.3.3/lib/

cp spark-network-common_2.11-2.0.0.jar /usr/share/hive-2.3.3/lib/

8)在HDFS上创建目录:/sparkeventlog用于保存log信息

hdfs dfs -mkdir /spark-log  //记录日志信息  

9) 配置hive的hive-site.xml

cp hive-defaults.xml.template hiev-site.xml

vi hive-site.xml

这里只是给出相关的设置以及会报错的配置

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>

  </property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hive</value>

    <description>password to use against metastore database</description>

  </property>

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hiveowner</value>

    <description>Username to use against metastore database</description>

  </property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

<property>

    <name>hive.execution.engine</name>

    <value>spark</value>

    <description>

      Expects one of [mr, tez, spark].

      Chooses execution engine. Options are: mr (Map reduce, default), tez, spark. While MR

      remains the default engine for historical reasons, it is itself a historical engine

      and is deprecated in Hive 2 line. It may be removed without further warning.

    </description>

  </property>

<property>

     <name>hive.enable.spark.execution.engine</name>

     <value>true</value>

  </property>

  <property>

     <name>spark.home</name>

     <value>/home/hadoop/apps/spark-2.0.0-bin-hadoop2-without-hive</value>

  </property>

  <property>

     <name>spark.master</name>

     <value>yarn-client</value>

  </property>

  <property>

     <name>spark.eventLog.enabled</name>

     <value>true</value>

  </property>

  <property>

     <name>spark.eventLog.dir</name>

     <value>hdfs://mini07:9000/spark-log</value>

  </property>

  <property>

     <name>spark.serializer</name>

     <value>org.apache.spark.serializer.KryoSerializer</value>

  </property>

 

  <property>

     <name>spark.executor.memory</name>

     <value>512m</value>

  </property>

  <property>

     <name>spark.driver.memory</name>

     <value>512m</value>

  </property>

其他的保持原来的默认的。即可ok

10) 进入到hive的bin目录下面

./schemTool -dbType mysql -initSchema 

然后执行./hive 

use test01;

create table emp1(emp int, ename string) row foemat delimited fields terminated by ‘,’;

load data local inpath ‘/home/Hadoop/data01.txt’ into table emp1;

select count(1) from emp1;

注意这里会报错的:

检查Yarn web console

查看历史信息,我们会发现:

这个错误的原因是由于yarn的虚拟内存计算而导致的错误,我们需要修改信息,在hadoop的配置文件yarn-site.xml里面添加配置信息:

<property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

   <description>表示是进制虚拟内存检查</description>

</property>

重新启动hadoop hive  spark

执行hive操作

select count(1)  from emp1;

use 我们在yarn的web console查看 :如下

在看看hive的客户端执行的结果:

这个截图里面是两次执行的结果:结果返回10,这个表里面刚好是10条数据:

在看看查询的时间消耗上 在第一次执行的时候会比较慢,第二次的话就会很快,这个中间是有sql的缓存。

11) 此时其实我们可以把spark集群关闭了。然后还是依然可以执行的。

所以现在我们把hive的执行引擎换成了spark。下次要是只是利用hive的话,则完全没有必要去启动spark集群了。

12) 说一下hadoop的伪分布式安装配置信息:如下图所示:

 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值