Hive学习笔记

最新推荐文章于 2024-04-04 09:31:59 发布
最新推荐文章于 2024-04-04 09:31:59 发布
阅读量156 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45732538/article/details/109080466
版权

启动：
进入到apache-hive/bin目录中，sh hive启动hive

简介

在这里插入图片描述

命令

在这里插入图片描述
在这里插入图片描述
在hive中新建的库，在hdsf中对应的位置为：
在这里插入图片描述

表结构

一.外部表和内部表

在这里插入图片描述
创建外部表的时候，会依据/score路径下的一个score文件创建。

分区表

在这里插入图片描述
在这里插入图片描述
在向表中加载数据的时候，指定分区，那么每一个分区在HDFS上的表文件夹下都会对应一个目录。

在这里插入图片描述
手动添加分区：如果我在表目录下创建了一个分区目录，province=‘湖北’，如果想要这个分区生效，就需要执行以上命令
修复分区：如果需要手动添加多个分区的时候使用。

动态分区

在这里插入图片描述

多字段分区

前一个字段形成的目录会包含后一个字段形成的目录。在实际过程中，如果需要对数据进行多级分类的时候，考虑多字段分区。
案例：
在这里插入图片描述

分桶表

注意：只能insert添加数据，不能load添加
在这里插入图片描述
**注意：**根据后边的排序部分的知识可知，这里的clustered by 实际上是先进行了分区，然后distribute by将数据分桶，然后在sort by对数据排序。如果distribute by和sort by后边的字段相同的话，就可以简写成：clustered by。

数据类型和函数

一.数据类型

1.Hive中包含了2两大类数据类型：基本类型和复杂类型
2.基本类型包含：tinyint，smallint，int，bigint，boolean，float，double，string，timestamp，binary
3.复杂类型包含：array、map和struct类型
4.array类型-数组类型，对应的Java中的数组和集合
在这里插入图片描述
在这里插入图片描述

扩展

关于网站域名的介绍

在这里插入图片描述

在Hive中，如何提高查询效率？

分区查询
SQL语句优化：join where，使用子查询，先where再join
使用索引
使用视图，字段少了，查起来快
缓存 map side join,join的时候将小表放在内存中，查询大表的时候如果用到校表的数据从缓存中取
order by 和 limit一块用的时候可以提高效率
窗口函数

函数

在这里插入图片描述
这里regexp_extract函数中最后那个是捕获组的编号
捕获组
捕获组就是把正则表达式中子表达式匹配的内容，保存到内存中以数字编号或显式命名的组里，方便后面引用。当然，这种引用既可以是在正则表达式内部，也可以是在正则表达式外部。
在这里插入图片描述

explode

在这里插入图片描述

列转行

在这里插入图片描述
关于lateral view
lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。

行转列

在这里插入图片描述

hive中函数的分类

函数的分类上看行数的变化，一行数据变成了一行这是UDF,一行数据变成了多行数据，这是UDTF,多行数据变成了一行，这叫UDAF
在这里插入图片描述

排序

orderby 和sortby正常使用时没有差别，但是如果对mapReduce进行了分区，效果就会不一样。对于orderby，分区前后排序效果不变，；对于sortby，分区后，一般都会有distribute by，按照指定字段的hash值进行分类，分到不同的桶中，在每个桶中数据是根据指定字段排序的。
分区：set mapred.reduce.tasks=3
在这里插入图片描述

join

在这里插入图片描述

Serde

在这里插入图片描述
案例：
原始数据：
在这里插入图片描述
在这里插入图片描述

beeline

在这里插入图片描述

view-视图

在这里插入图片描述

元数据

在这里插入图片描述
因为derby是单连接的，不支持并发，所以我们把derby换成MySQL

首先安装MySQL

  1. 查看是否有残缺的MySQL
    rpm -qa | grep mysql

  2. 卸载残缺的MySQL
    rpm -ev --nodeps mysql-libs-5.1.73-8.el6_8.x86_64
    rpm -ev --nodeps tcl-mysqltcl-3.052-1.el6.x86_64

  3. 添加用户组和用户
    groupadd mysql
    useradd -r -g mysql mysql

  4. 下载安装包
    wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
    wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm

  5. 安装MySQL
    rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
    rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm

  6. 修改
    vim /usr/my.cnf
    添加
    [client]
    default-character-set=utf8
    [mysql]
    default-character-set=utf8
    [mysqld]
    character_set_server=utf8
    sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

  7. 可以将MySQL添入开机自启
    cp /usr/share/mysql/mysql.server /etc/init.d/mysql

  8. 启动MySQL
    service mysql start

  9. 查看初始随机密码
    cat /root/.mysql_secret

  10. 修改启动密码
    mysqladmin -u root -p password root

切换Hive的元数据库

  1. 进入Hive的安装目录的lib目录下
    cd /home/software/apache-hive-1.2.0-bin/lib
  2. 添加MySQL的连接驱动包
    wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/mysql-connector-java-5.1.38-bin.jar
  3. 进入Hive的安装目录的conf目录下
    cd …/conf
  4. 编辑
    vim hive-site.xml
    添加
    javax.jdo.option.ConnectionURL jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword root
  5. 进入MySQL执行如下命令
    grant all privileges on . to ‘root’@‘hadoop01’ identified by ‘root’ with grant option;
    grant all on . to ‘root’@’%’ identified by ‘root’;
    flush privileges;
    create database hive character set latin1;
  6. 启动Hive
    cd …/bin
    sh hive
    如果出现错误，如下解决方案：
    从第三个错误开始查看，在错误信息中是否有READ or UNREAD COMMITTED
    解决方案
  7. 编辑
    vim /usr/my.cnf
  8. 在文件尾部追加
    binlog_format=mixed
  9. 重启mysql
    service mysql restart

Hive的体系结构

在这里插入图片描述

优化

map side join

在这里插入图片描述

join和where的优化

在这里插入图片描述

group by的优化

在这里插入图片描述

调整切片大小

在这里插入图片描述

开启严格模式

在这里插入图片描述

count和distinct连用

当count和distinct连用的时候，可以考虑先利用子查询进行去重，再去重的是i后可以使用多个ReduceTask完成，最终在利用一个ReduceTask来完成计数。
案例：
在这里插入图片描述
在这里插入图片描述

Sqoop

在这里插入图片描述

qq_45732538
关注
滴滴基于Binlog的采集架构与实践
DiDi_Tech的博客
06-22 6362
桔妹导读：大数据是这个时代赋予我们的强大引擎，在数字化大潮中 ，借助数据驱动的方法推动业务乘风破浪，几乎是每家公司的核心战略。数据驱动的落脚点是数据，能否将组织或业务运行过程中的信息，进行...
mysql hive binlog_带你解析MySQL binlog
weixin_32289847的博客
01-26 420
前言：我们都知道，binlog可以说是MySQL中比较重要的日志了，在日常学习及运维过程中，也经常会遇到。不清楚你对binlog了解多少呢？本篇文章将从binlog作用、binlog相关参数、解析binlog内容三个方面带你了解binlog。1.binlog简介binlog即binary log，二进制日志文件。它记录了数据库所有执行的DDL和DML语句(除了数据查询语句select、show等)...
hive离线数仓数据采集——基于canal的binlog数据同步方案
Lyx_h的博客
05-25 3591
目录1.简介2.方案架构3.离线还原数据3.1.数据落盘至hdfs3.2 Merge操作3.3 Merge sql 代码3.3.1 首先创建一个快照表来存放test库的binlog日志3.3.2 创建一个待还原的ods层hive表3.3.3 在hive中还原出与mysql相同的数据(binlog+历史数据)3.3.3.1 binlog demo3.3.3.2 全量数据合并3.3.3.3 写入数据(同时过滤掉mysql中已删除的记录) 1.简介 在离线数仓中，我们常常会把DB数据以及日志数据抽取到数仓的ODS
BinlogUpdateToHive: 实时数据入Hive的利器
最新发布
gitblog_00037的博客
04-04 374
BinlogUpdateToHive: 实时数据入Hive的利器 去发现同类优质开源项目:https://gitcode.com/ 该项目是一款高效、轻量级的数据同步工具，它利用MySQL的Binlog日志，将数据库变更实时地更新到Hadoop生态中的Hive仓库中，为大数据分析提供了实时性的保障。 技术解析 MySQL Binlog MySQL的Binary Log（简称Binlog）是一个记录...
大数据与数据仓库入门到精通
09-20
本课程以CDH作为大数据平台，详细介绍CDH平台各个组件在生产环境的应用及开发，并结合实际的业务场景，离线数仓，实时数仓，构建企业核心的数据架构。在实际的工作当中，大数据架构，运维或者开发人员会与多个公司团队合作，ETL团队，爬虫团队，算法团队，运营团队等等，指导大家如何与个个团队打交道，提升工作效率。减少团队之间不愉快的沟通。希望学习者最好从事过数据库相关工作，有一些 JAVA开发基础，或者有其他工作经验，想学习大数据及数据仓库的同学，对于没有工作经验，或者对开发，数据完全小白的同学，建议先了解相关知识再学习。本课程的宗旨只有一条，任何学习完本课程的同学，都能熟悉企业主流的数据架构，都有能力维护一个中等HADOOP集群，也就是1P左右的数据的集群或者多个集群。
hive学习笔记
06-25
自己在学习hive中做的笔记，适合于想要快速了解hive的朋友
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
【hive】BinlogUpdatetoHive项目学习
HNUJSY
01-22 1666
项目最后更新时间为2016年，其中使用了hive streaming的api 项目中主要使用canal工具读取mysql日志，主要定义了处理binlog日志的逻辑，然后将处理完的数据打入kafka中供spark streaming进行消费 项目中的主要spark逻辑定义在了如下的函数中 项目主要使用了spark streaming做数据处理，设置15s为一个周期，取出kafka中的数据，然后做数据清洗和处理，然后调用DStreamtoHiveBatchUtilLoan将数据更新到hiv...
hive metastore 报错 binlog mode 不对问题
freespace
11-17 168
2015-11-16 16:33:55,701 WARN metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:executeWithRetry(2472)) - Got Unknown Exception: javax.jdo.JDOException: Couldnt o btain a new sequence (unique...
Binlog2Hive:MySQL增量数据实时同步到HDFSHive
04-29
项目背景 RDS的数据实时同步到HDFS下，并映射到Hive 原理 通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表 由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段 配置文件介绍 doc/creat table.sql：Hive表的建表语句，除了静态表外，其他全部为天级别外部分区表 binglog2Hive_conf.properties:里面为所有全部需要同步到HDFS的表 mysql.properties:Mysql druid连接池配置 程序说明 binlog解析框架： 核心类为BinlogClient 程序主要序列化以下几个事件 TABLE_MAP：包括表名，数据库名 WRITE_ROWS：包含增量的业务记录 程序启动时会先从t_position表中获取上次的同步状态，根据上次的同步状态来确定
【mysql】关于binlog格式
weixin_34119545的博客
11-26 335
写在前面的话 1、推荐用mixed，默认使用statement，基于上下文  set session/global binlog_format=mixed; 2、二进制日记录了数据库执行更改的操作，如Insert，Update，Delete等。不包括Select等不影响数据库记录的操作 3、MySQL记录的日志有三种模式：STATEMENT、ROW、MIXED 4、二进制主要的功能有：复制...
Linux下没有my.cnf的情况下开启mysql的binlog导致hive不能建表
Black_8的博客
09-24 447
我们开启binlog是为了辅助我们的hive 首先这种情况在是因为rpm安装的mysql是不会再/etc 下生成my.cnf文件 如果我们此时直接拷贝一份其他人的my.cnf到etc下的话，我们的确可以开启binlog，但是我们在hive下却发现不能进行DDL操作了，如：建表会报如下错误：（个人认为可能是别的机器自动生成的my.cnf的配置缺少参数导致hive存放的metstore发生了改变） ...
HIVE-如何查看执行日志
weixin_33795743的博客
11-08 7876
HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程 HIVE自身翻译成为MR之前的解析错误 Hadoop文件系统的错误 YARN调度过程中的错误 2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一...
提取mysql binlog日志内容
热门推荐
lijingkuan的博客
12-22 1万+
整理自网络 （mysqlbinlog命令 -v 显示每个字段插入的值， -v -v显示每个字段的注释，包括数据类型） MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。 binlog日志属于二进制文件，实现基于时间点的恢复或者不完全恢复时必须要用到二进制日志。 下面给出了提取binlog日志的例子： 1.查看mysql数据库版本 mysql
mysql binlog hive_使用 Binlog 和 Canal 从 MySQL 抽取数据
weixin_42471237的博客
01-19 446
数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点，或直接进入 Hive。市面上已有多种成熟的、基于 SQL 查询的抽取软件，如著名的开源项目Apache Sqoop，然而这些工具并不支持实时的数据...
mysql hive binlog_Debzium系列-Debzium MySQL Binlog 集成到Hive 坑（一）
weixin_32200729的博客
01-19 582
环境说明kakfa 2.5debezium-debezium-connector-mysql-1.2.0confluentinc-kafka-connect-hdfs-5.5.1( hadoop 2.x 的)集成思路，使用Debezium采集MySQL Binlog 发送到kafka，使用kafka-connect-hdfs 组件，消费kafka 日志到hive 中。Debzium Binlog ...
[Hive]那些年踩过的Hive坑
爱笑的博客
02-08 3336
转：http://blog.csdn.net/sunnyyoona/article/details/51648871 1. 缺少MySQL驱动包 1.1 问题描述 Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值