install hive in fedora


1 /etc/profile

export JAVA_HOME=/home/jka07@int.hrs.com/software/jdk1.8.0_121

PATH=$PATH:$JAVA_HOME/bin
export SCALA_HOME=/usr/share/scala
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH

export HADOOP_HOME=/home/jka07@int.hrs.com/software/hadoop-2.7.0
export HIVE_HOME=/home/jka07@int.hrs.com/software/hive-0.10.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop


export PATH=$PATH:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin


2

cp hive-default.xml.template hive-default.xml

cp hive-default.xml.template hive-site.xml

cp hive-exec-log4j2.properties.template hive-exec-log4j.properties

cp hive-log4j2.properties.template hive-log4j.properties

cp beeline-log4j.properties.template beeline-log4j.properties


即:把几个带.template后缀的模板文件,复制一份变成不带.template的配置文件,注意hive-default.xml.template这个要复制二份,一个是hive-default.xml,另一个是hive-site.xml,其中hive-site.xml为用户自定义配置,hive-default.xml为全局配置,hive启动时,-site.xml自定义配置会覆盖-default.xml全局配置的相同配置项。

下面为hive-site.xml:


<configuration>

    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:MySQL://127.0.0.1:3306/hive?characterEncoding=UTF-8</value>
    </property>
    
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Hrs12345</value>
    </property>
    
   
    <property>
        <name>hive.exec.scratchdir</name>
        <value>/tmp/hive</value>                  // in hadoop fs
    </property>
    
    <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/jka07@int.hrs.com/hive/tmp</value>  //in linux fs
    </property>


    <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/home/jka07@int.hrs.com/hive/tmp/${hive.session.id}_resources</value> //in linux
    </property>


    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>     //in hadoop fs
    </property>
</configuration>


另:上面的配置文件中,有一些关于目录的参数,先提前把目录建好,

hive.exec.local.scratchdir
hive.downloaded.resources.dir




3、测试及验证
把mysql-connector.jar考入 hive的libexec下的lib里面
先在myswql建立好库hive
mysql》create database hive ;alter database hive character set latin1;

a) 创建表测试

hive>create table test(id int);
hive》drop table track_log;
create table track_log (
id                         string ,
url                        string ,
referer                    string ,
keyword                    string ,
type                       string ,
guid                       string ,
pageId                     string ,
moduleId                   string ,
linkId                     string ,
attachedInfo               string ,
sessionId                  string ,
trackerU                   string ,
trackerType                string ,
ip                         string ,
trackerSrc                 string ,
cookie                     string ,
orderCode                  string ,
trackTime                  string ,
endUserId                  string ,
firstLink                  string ,
sessionViewNo              string ,
productId                  string ,
curMerchantId              string ,
provinceId                 string ,
cityId                     string )  
PARTITIONED BY (ds string,hour string)  

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

导入数据:

 jimmy$

 hive -e "LOAD DATA LOCAL INPATH '/Users/jimmy/Downloads/download/pv_UV/2015082818' OVERWRITE INTO TABLE track_log PARTITION (ds='20150828',hour='18');"





  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值