Hive on Spark

一.Spark安装过程比较简单:
1.直接上传解压安装包
tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
mv spark-1.6.1-bin-hadoop2.6.tgz spark-1.6.1

2.cd /usr/local/spark-1.6.1/conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在该配置文件中添加如下配置
export JAVA_HOME=/usr/java/jdk1.7.0_79
export SPARK_MASTER_IP=minimaster
export SPARK_MASTER_PORT=7077
保存退出
重命名并修改slaves.template文件
mv slaves.template slaves
vi slaves
在该文件中添加子节点所在的位置（Worker节点）
miniSlave1
miniSlave2
保存退出

将配置好的Spark拷贝到其他节点上
scp -r /usr/local/spark-1.6.1 miniSlave1:/usr/local/
scp -r /usr/local/spark-1.6.1 miniSlave2:/usr/local/

Spark集群配置完毕，目前是1个Master，2个Work，在minimaster上启动Spark集群
/usr/local/spark-1.6.1/sbin/start-all.sh

二.Hive on Spark
把hadoop中的core-site.xml 和 hive中的hive-site.xml中配置cp 至Spark中的conf目录下
eg:
cp /usr/local/hive-1.2.1/conf/hive-site.xml /usr/local/spark-1.6.1/conf/
注:将hadoop中的高可用修改成普通集群
vi core-site.xml

  <property>
        <name>fs.defaultFS</name>
       <value>hdfs://minimaster:9000</value>
   </property>

步骤跟踪:

cd /usr/local/spark-1.6.1/bin/
bin:

./spark-sql \
--master spark://minimaster:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
--driver-class-path /usr/local/mysql-connector-java-5.1.6-bin.jar

步骤跟踪:

hive在Spark上的简单操作:
1.建表:
create table person(
id int,name string,age int, fv int
)
row format delimited fields terminated by “,”
;
步骤跟踪:

2.加载数据:
load data local inpath”/home/person.txt” into table person

数据上传至 /usr/hive/warehouse/person中
可以直接在hadoop高可用上查询:

3.查询数据:
select name,age,fv from person where age > 20 order by fv;
步骤跟踪:

结果展示:

4.删除
drop table person;