Hive的安装搭建

Hadoop

• mapreduce 计算

• hdfs 存储

   

安装

• node02

• mysql (node01)环境

• mapreduce 环境

• hdfs 环境

• 解压: tar -zxvf apache-hive-xxx.tar.gz -C /opt/bigdata/

• 改名 mv apache-hive-xxx-bin hive-2.3.4

  • bin可执行文件

  • conf配置文件

  • lib jar包

• mv hive-default.xml.template hive-site.xml

  • 配置类全部删除，修改如下

    <configuration>
    <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://node01:3306/hive</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123</value>
    </property>
    </configuration>
    ​

     

  • 配置环境变量/etc/profile

    • export HIVE_HOME=/opt/bigdata/hive-2.3.4

    • :$HIVE_HOME/bin

    • source /etc/profile

  • 测试 hi 切换键 出现hive一些提示就ok

  • 将mysql-connect驱动包放到hive/lib目录下

• 执行: schematool -dbType mysql -initSchema 会去对应的mysql创建表

• 启动hive : hive

  • 对应的jps -- RunJar

  • show tables;

  • 创建表、查询表和mysql一样操作

  • desc 表名; 查看表信息

  • desc formatted 表名; 查看表信息详情

  • 文本蓝色字是ASII码，输入方式: ctrl+字符

 

Hive远程元数据服务安装

node03、node04配置hive环境

• scp -r hive-2.3.4 node03:pwd

• scp -r hive-2.3.4 node04:pwd

• 配置环境变量/etc/profile

• source /etc/profile

配置文件

• node03（作为服务端）

  <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>/user/hive_remote/warehouse</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://node01:3306/hive_remote?createDatabaseIfNotExist=true</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123</value>
  </property>

• node04（作为客户端）

  <property>
          <name>hive.metastore.warehouse.dir</name>
          <value>/user/hive_remote/warehouse</value>
  </property>
  <property>
          <name>hive.matestore.uris</name>
          <value>thrift://node03:9083</value>
  </property>
  ​

• node03 执行: schematool -dbType mysql -initSchema

  • mysql数据库多了一个hive_remote数据库

• node03 阻塞启动hive服务端： hive --service matestore