Hive-JDBC操作，springcloud高级面试题

hadoop.proxyuser.mengday.hosts * hadoop.proxyuser.mengday.groups * ```

2. 启动hadoop

> cd /usr/local/Cellar/hadoop/3.2.1/sbin
> ./start-all.sh
> jps

启动成功后注意查看DataNode节点是否启动起来, 经常遇到DataNode节点启动不成功。

二：配置hive-site.xml

Java是通过beeline来连接Hive的。启动beeline最重要的就是配置好hive-site.xml。

其中javax.jdo.option.ConnectionURL涉及到一个数据库，最好重新删掉原来的metastore数据库然后重新创建一个并初始化一下。

mysql> create database metastore;

> cd /usr/local/Cellar/hive/3.1.2/libexec/bin
> schematool -initSchema -dbType mysql

hive-site.xml

<configuration>
　　<property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
      </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/metastore?characterEncoding=UTF-8&createDatabaseIfNotExist=true</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
　　<!--mysql用户名-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
　　<!--mysql密码-->
　　<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root123</value>
    </property>

 <!-- hive用来存储不同阶段的map/reduce的执行计划的目录，同时也存储中间输出结果
 ，默认是/tmp/<user.name>/hive,我们实际一般会按组区分，然后组内自建一个tmp目录存>储 -->

    <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/tmp/hive</value>
    </property>

    <property>
        <name>hive.downloaded.resources.dir</name>
            <value>/tmp/hive</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/data/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.transport.mode</name>
        <value>binary</value>
        <description>
          Expects one of [binary, http].
          Transport mode of HiveServer2.
        </description>
    </property>
    <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/tmp/hive</value>
    </property>
    <property>
        <name>hive.hwi.listen.host</name>
        <value>0.0.0.0</value>
        <description>This is the host address the Hive Web Interface will listen on</description>
    </property>

    <property>
        <name>hive.server2.webui.host</name>
        <value>0.0.0.0</value>
        <description>The host address the HiveServer2 WebUI will listen on</description>
    </property>

</configuration>

三：启动metastore

在启动beeline之前需要先启动hiveserver2，而在启动hiveserver2之前需要先启动metastore。metastore默认的端口为9083。

> cd /usr/local/Cellar/hive/3.1.2/bin
> hive --service metastore &

启动过一定确认一下启动是否成功。

四：启动hiveserver2

> cd /usr/local/Cellar/hive/3.1.2/bin
> hive --service hiveserver2 &

hiveserver2默认的端口为10000，启动之后一定要查看10000端口是否存在，配置有问题基本上10000端口都启动不成功。10000端口存在不存在是启动beeline的关键。

五：启动beeline

> cd /usr/local/Cellar/hive/3.1.2/bin
> beeline -u jdbc:hive2://localhost:10000/default -n mengday -p

• -u: 连接的url，jdbc:hive2://<主机名或IP>:<端口默认>/<数据库名>，端口号默认10000 可通过 ```hiveserver2 --hiveconf hive.server2.thrift.port=14000 修改端口号，default是自带的数据库
• -n: hive所在的那台服务器的登录账号名称, 这里是我Mac机器的登录用户名mengday, 这里的名字要和core-site.xml中的hadoop.proxyuser.mengday.hosts和hadoop.proxyuser.mengday.groups中mengday保持一致。
• -p: 密码，用户名对应的密码

看到0: jdbc:hive2://localhost:10000/default>就表示启动成功了。

六：Hive JDBC

1. 引入依赖

<dependency>
   <groupId>org.apache.hive</groupId>
   <artifactId>hive-jdbc</artifactId>
   <version>3.1.2</version>
</dependency>

2. 准备数据

/data/employee.txt

1,zhangsan,28,60.66,2020-02-01 10:00:00,true,eat#drink,k1:v1#k2:20,s1#c1#s1#1
2,lisi,29,60.66,2020-02-01 11:00:00,false,play#drink,k3:v3#k4:30,s2#c2#s1#2

最后

由于文案过于长，在此就不一一介绍了，这份Java后端架构进阶笔记内容包括：Java集合，JVM、Java并发、微服务、SpringNetty与 RPC 、网络、日志 、Zookeeper 、Kafka 、RabbitMQ 、Hbase 、MongoDB、Cassandra 、Java基础、负载均衡、数据库、一致性算法、Java算法、数据结构、分布式缓存等等知识详解。

本知识体系适合于所有Java程序员学习，关于以上目录中的知识点都有详细的讲解及介绍，掌握该知识点的所有内容对你会有一个质的提升，其中也总结了很多面试过程中遇到的题目以及有对应的视频解析总结。
有需要的朋友可以点击这里免费获取

员学习，关于以上目录中的知识点都有详细的讲解及介绍，掌握该知识点的所有内容对你会有一个质的提升，其中也总结了很多面试过程中遇到的题目以及有对应的视频解析总结。
有需要的朋友可以点击这里免费获取

[外链图片转存中…(img-H7w5Q6cx-1630032086734)]