飞翔的博客

1. 概述1.1 目的HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用HiveServer2时候，不注意安全控制，将非常危险，因为任何人都可以作为超级用户来操作Hive及HDFS数据。1.2 认证方式HiveServer2支持多种用户安全认证方式：NONE,NOSASL, KERBEROS, LDAP, PAM ,CUSTOM等等，本文采用CUSTOM。2. 编写代

一、DBeaver连接Hive准备DBeaver连接Hive，需要先安装Hive，Hive数据仓库部署参考文章：Apache Hive 数据仓库部署DBeaver连接Hive，需要开启HiveServer2，HiveServer2配置参考文章：HiveServer2用户安全认证二、DBeaver安装步骤1、DBeaver下载下载链接：https://dbeaver.jkiss.org/downlo...

一、部署准备Hive依赖于Hadoop分布式集群，Hadoop分布式集群部署参考文章：Apache Hadoop 分布式集群部署 Hive依赖于MySQL数据库，MySQL数据库部署参考文章：CentOS系统二进制安装MySQL Hive软件包下载：http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.ta...

1. hive导出数据到hdfs语法：export table 表名 to '输出路径';例子：export table cloud.customer to '/tmp/hive/customer';2. beeline连接$ beeline语法：beeline> !connect jdbc:hive2://主机名:10000 用户名 密码例子：beeline&g...

Maven依赖配置<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/x...

1. 角色* 创建角色create role role_name;* 显示角色show roles;* 删除角色drop role role_name;2. 用户* 用户进入admin角色权限set hive.users.in.admin.role;set role admin;* 查看某用户的所有角色show role grant user user_n...

1.  JOIN1.1  join操作INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid); 1.2  MR过程Mapa.  以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的...

一、介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优...