Hive
文章平均质量分 73
薛定谔的猫不吃猫粮
这个作者很懒,什么都没留下…
展开
-
Hive 不同级别日志配置 hive-log4j2.properties
# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyright ownership. The ASF licenses this file# to you under原创 2022-02-08 17:03:24 · 2161 阅读 · 1 评论 -
高可用Hive配置多客户端 多用户模式
高可用HIve配置多客户端hive高可用搭建完毕了,但是如果想在其他节点连接hive怎么办呢?这个时候我们就需要在其他节点安装hive的客户端高可用hive的搭建参考我的另一篇文章hive高可用搭建1.复制安装文件将hdp14的安装文件复制到要连接hive的节点hdp16[along@hdp14 bigdata]$ scp -r hive along@hdp16:/opt/bigdata/2.修改核心配置连接hdp16,添加配置文件[along@hdp16 hive]$ pwd/op原创 2021-06-17 12:31:04 · 613 阅读 · 4 评论 -
HBase2.2.7从源码编译到高可用部署 整合整合Phoenix5.1.0 二级索引 整合hive3.1.2
HBase源码编译与安装配置HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。高可靠/高性能/面向列/可伸缩的分布式文件存储系统。Hbase源码编译1.环境配置jdk,maven安装配置2.下载下载地址:https://hbase.apache.org/downloads.html3.上传解压将下载的源码包上传到/opt/src目录下并解压[root@localhost src]#tar -zxvf hbase-2.2.7-src.tar.gz4.选择hado原创 2021-05-31 15:02:30 · 772 阅读 · 1 评论 -
解决HBase整合Hive时一直连接地址为localhost2181的zookeeper的问题
解决HBase整合Hive时一直连接地址为localhost:2181的zookeeper的问题问题描述我在搭建HBase集群整合hive的时候,hive一直连接本地的zookeeper,而不是连接HBase集群中配置的zk地址1.HBase起初以为HBase中hbase-env.sh 这个配置没有生效,export HBASE_MANAGES_ZK=false反复检查了配置,应该是没有问题2.Hive检查hive中的zookeeper,也是没有问题的。最后发现hbase.zookee原创 2021-05-31 14:51:13 · 1774 阅读 · 0 评论 -
Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本
hive部署下载apache hive 3.1.2http://archive.apache.org/dist/hive/注:先看hive编译文档,使用编译好的安装包进行部署官方的hive3.1.4和sprk3.0.0不兼容,需要重新编译。后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。重新编译,参考本人写的另一篇文章hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容原创 2021-05-21 16:34:59 · 1943 阅读 · 4 评论 -
hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细
hive编译自从CDH宣布收费之后,公司决定使用开源的组件,对现有的大数据集群进行替换。使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。目前,有关hive3.1.2编译的原创 2021-05-21 16:13:35 · 6366 阅读 · 15 评论 -
leetcode-mysql(三) 177.第N高的薪水 6种解析思路详细分析
177. 第N高的薪水作者:luanhz链接:https://leetcode-cn.com/problems/nth-highest-salary/solution/mysql-zi-ding-yi-bian-liang-by-luanz/来源:力扣(LeetCode)难度中等编写一个 SQL 查询,获取 Employee 表中第 n 高的薪水(Salary)。+----+--------+| Id | Salary |+----+--------+| 1 | 100 || 2转载 2021-04-27 18:19:22 · 338 阅读 · 0 评论 -
leetcode-mysql(五) 180. 连续出现的数字 3种思路详细分析
leetcode-mysql(五) 180. 连续出现的数字 3种思路详细分析180. 连续出现的数字难度中等SQL架构编写一个 SQL 查询,查找所有至少连续出现三次的数字。+----+-----+| Id | Num |+----+-----+| 1 | 1 || 2 | 1 || 3 | 1 || 4 | 2 || 5 | 1 || 6 | 2 || 7 | 2 |+----+-----+例如,给定上面的 Logs 表, 1原创 2021-04-29 14:09:27 · 220 阅读 · 0 评论 -
hive高可用部署 HiveServer2高可用(HA)Metastore高可用(HA)基于Apache hive 3.1.2
HiveServer2 高可用修改配置hive-site.xml,增加一下内容<property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value></property><property> <name>hive.server2.zookeeper.namespace</原创 2021-04-20 17:54:46 · 2187 阅读 · 2 评论