二:Hive安装教程

1.什么是hive

Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。

简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用编程语言开发MapReduce那么麻烦。

hive安装之前需要hadoop环境请先安装hadoop

1、下载hive

我这里已经下载好的,可以使用我的。hive对版本兼容性比较高

链接:https://pan.baidu.com/s/1KVCwNhfyx3Wu6g8WsPGKqg 
提取码:vo70 
下载hive——地址:http://mirror.bit.edu.cn/apache/hive/

 

1、开始安装

2.1、上传hive到服务器任意位置

2.1、 解压hive文件这里以hive-2.1.0为例子

        tar -zxvf apache-hive-2.1.0-bin.tar.gz

 

 2.3、重名了hive文件为hive

mv apache-hive-2.1.1-bin hive

 

2.4、修改环境变量vi /etc/profile

 export HIVE_HOME=/usr/local/java/hive(安装路径)

 export PATH=$PATH:$HIVE_HOME/bin

执行source /etc/profile (使文件生效)

执行hive –version

有hive的版本显现,安装成功!

2.5、修改配置文件

切换到hive/conf目录下拷贝 hive-default.xml.template 为 hive-site.xml

修改hive-site.xml 文件

Hive-site.xml文件修改地方比较多,主要是些数据库连接信息(hive存在默认的配置信息,只需要修改即可,如不想拷贝下边内容可以直接把我的hive-site.xml文件拷贝修改即可)

以下需要指定数据连接信息(jdbc:mysql://192.168.2.115:3306/hive  //hive数据库事先必须创建好)

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>root</value>

    <description>password to use against metastore database</description>

 </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

    <description>Username to use against metastore database</description>

  </property>

 

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://192.168.2.115:3306/hive</value>

 </property>

 <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

 

 <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/home/centos/hive</value>

    <description>Local scratch space for Hive jobs</description>

  </property>

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/home/centos/hive/downloads</value>

    <description>Temporary local directory for added resources in the remote file system.</description>

  </property>

  <property>

    <name>hive.querylog.location</name>

    <value>/home/hive/querylog</value>

    <description>Location of Hive run time structured log file</description>

  </property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/home/hive/server2_logs</value>

    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>

  </property>

 

  <property>

    <name>hive.server2.enable.doAs</name>

    <value>false</value>

    <description>

      Setting this property to true will have HiveServer2 execute

      Hive operations as the user making the calls to it.

    </description>

  </property>

2.6、复制mysql的驱动程序到hive/lib下面(这里已经拷贝好了)

切换到hive/bin目录下执行以下命令生成hive元数据

schematool -dbType mysql -initSchema

hive 命令验证是否安装成功

./hive

成功进入hive界面

2.7、hive命令行操作

1.创建hive的数据库

                  $hive>hive --version                      

                  $hive>hive --help                        

                  $hive>create database mydb2 ;                    

                  $hive>show databases ;

                  $hive>use mydb2 ;

                  $hive>create table mydb2.t(id int,name string,age int);

                  $hive>drop table t ;

                  $hive>drop table mydb2.t ;

                  $hive>select * from mydb2.t ;   //查看指定库的表

                  $hive>exit ;        //退出

 

2.8、参考资料:(参考资料有点坑注意点)

https://www.cnblogs.com/kinginme/p/7233315.html

https://www.cnblogs.com/dxxblog/p/8193967.html

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值