大数据Hive

最新推荐文章于 2024-05-16 20:12:02 发布
最新推荐文章于 2024-05-16 20:12:02 发布
阅读量227 收藏 3
点赞数
分类专栏： 大数据分析 文章标签： 大数据 Hive BigData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heaterhip/article/details/97366889
版权

大数据Hive

Hive技术

  1. 引言

    1. 什么是Hive

      hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目。 hive.apache.org
hive是一个基于大数据技术的数据仓库技术  DataWareHouse (数仓)
    数据库  DataBase
           数据量级小，数据价值高
    数据仓库 DataWareHouse
           数据体量大，数据价值低
底层依附是HDFS,MapReduce

    2. Hive好处

      Hive让程序员应用时，书写SQL语句，最终由Hive把SQL语句转换成MapReduce运行，这样简化了程序员的工作。

在这里插入图片描述
3. Hive运行原理
在这里插入图片描述
4. Hive环境的搭建

1. linux服务器  ip 映射  主机名  关闭防火墙  关闭selinux  ssh免密登陆 jdk
2. 搭建hadoop环境
3. 安装Hive
   3.1 解压缩hive 
   3.2 hive_home/conf/hive-env.sh [改名]
       HADOOP_HOME=/opt/install/hadoop-2.5.2
       export HIVE_CONF_DIR=/opt/install/apache-hive-0.13.1-bin/conf
   3.2 hdfs创建2个目录
       /tmp
       /user/hive/warehouse
       bin/hdfs dfs -mkdir /tmp
       bin/hdfs dfs -mkdir /user/hive/warehouse
   3.3 启动hive
       bin/hive 
   3.4 jps
       runjar

  1. Hive基本操作

    # 创建数据库
create database [if not exists] hive_1;
# 查看所有数据库
 show databases;
# 使用数据库
 use db_name;
# 删除空数据库 
 drop database db_name;
 drop database db_name cascade;
# 查看数据库的本质
  hive中的数据库 本质是 hdfs的目录 /user/hive/warehouse/hive_1.db
  
# 查看当前数据库下的所有表
  show tables;
# 建表语句 
  create table t_user(
    id int ,
    name string
   )row format delimited fields terminated by '\t';
# 查看表的本质
  hive中的表  本质是 hdfs的目录 /user/hive/warehouse/hive_1.db/t_user
# 删除表
  drop table t_user;
  
# hive中向表导入数据
  load data local inpath '/root/hive/data' into table t_user;
# hive导入数据的本质
  load data local inpath '/root/hive/data' into table t_user;
  1. 导入数据 本质本质上就是 hdfs 上传文件
  bin/hdfs dfs -put /root/hive/data /user/hive/warehouse/hive_1.db/t_user;
  2. 上传了重复数据，hive导数据时，会自动修改文件名
  3. 查询某一个张表时，Hive会把表中这个目录下所有文件的内容，整合查询出来
  
  
# SQL(类SQL 类似于SQL HQL Hive Query Language)
select * from t_user;
select id from t_user;
1. Hive把SQL转换成MapReduce (如果清洗数据 没有Reduce)
2. Hive在绝大多数情况下运行MR,但是在* limit操作时不运行MR
    MetaStore的替换问题
    Hive中的MetaStore把HDFS对应结构，与表对应结果做了映射（对应）。但是默认情况下hive的metaStore应用的是derby数据库，只支持一个client访问。

    1. Hive中元数据库Derby替换成MySQL(Oracle)

      0. 删除hdfs /user/hive/warehouse目录，并重新建立
1. linux mysql
   yum -y install mysql-server
2. 启动mysql服务并设置管理员密码
   service mysqld start
   /usr/bin/mysqladmin -u root password '123456'
3. 打开mysql远程访问权限
   GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';
   flush privileges;   
   use mysql 
   delete from user where host like 'hadoop%';
   delete from user where host like 'l%';
   delete from user where host like '1%';
   service mysqld restart
4. 创建conf/hive-site.xml
   mv hive-default.xml.template hive-site.xml
   hive-site.xml
   <property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://hadoop21:3306/metastore?createDatabaseIfNotExist=true</value>
	  <description>the URL of the MySQL database</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>123456</value>
	</property>
	
	<property>
  <name>hive.cli.print.header</name>
	  <value>true</value>
	</property>
	
	<property>
	  <name>hive.cli.print.current.db</name>
	  <value>true</value>
	</property>
5. hive_home/lib 上传mysql driver jar包
Hive的语法细节

  1. HQL (SQL)

    1. 基本查询
   select * from table_name # 不启动mr
   select id from table_name # 启动mr
2. 条件查询 where
   select id,name from t_users where name = 'suns1';
   2.1 比较查询  =  ！=  >=  <=
       select id,name from t_users where age > 20;
   2.2 逻辑查询  and or  not
       select id,name,age from t_users where name = 'suns' or age>30;
   2.3 谓词运算
       between and
       select name,salary from t_users where salary between 100 and 300;
       in
       select name,salary from t_users where salary in (100,300);
       is null
       select name,salary from t_users where salary is null;
       like
       select name,salary from t_users where name like 'suns%';
       select name,salary from t_users where name like 'suns__';
       select name,salary from t_users where name like 'suns%' and length(name) = 6;
3. 排序 order by [底层使用的是 map sort  group sort  compareto]
   select name,salary from t_users order by salary desc;
4. 去重 distinct
   select distinct(age) from t_users;
5. 分页 [Mysql可以定义起始的分页条目，但是Hive不可以]
   select * from t_users limit 3;  
6. 聚合函数（分组函数） count() avg() max() min() sum() 
   count(*)  count(id) 区别
7. group by
   select max(salary) from t_users group by age;
   规矩： select 后面只能写 分组依据和聚合函数 （Oracle报错，Mysql不报错，结果不对）
8. having 
   分组后，聚合函数的条件判断用having
   select max(salary) from t_users group by age having max(salary) > 800;
9. hive不支持子查询 
10. hive内置函数 
    show functions 

    length(column_name)  获得列中字符串数据长度
    substring(column_name,start_pos,total_count)
    concat(col1,col2)
    to_data('yyyy-mm-dd')
    year(data) 获得年份
    month(data)
    date_add
    ....
    select year(to_date('1999-10-11')) ;
11. 多表操作
    inner join
    select e.name,e.salary,d.dname
    from t_emp as e
    inner join t_dept as d
    on e.dept_id = d.id;
    
    select e.name,e.salary,d.dname
    from t_emp as e
    left join t_dept as d
    on e.dept_id = d.id;
    
    select e.name,e.salary,d.dname
    from t_emp as e
    right join t_dept as d
    on e.dept_id = d.id;
    
    select e.name,e.salary,d.dname [mysql 不支持]
    from t_emp as e
    full join t_dept as d
    on e.dept_id = d.id;

  2. 表相关的操作

    1. 管理表 (MANAGED_TABLE)

      1. 基本管理表的创建
create table if not exists table_name(
column_name data_type,
column_name data_type
)row format delimited fields terminated by '\t' [location 'hdfs_path']

2. as 关键字创建管理表
create table if not exists table_name as select id,name from t_users [location ''];
表结构 由 查询的列决定，同时会把查询结果的数据 插入新表中

3. like 关键字创建管理表
create table if not exists table_name like t_users [location 'hdfs_path'];
表结构 和 like关键字后面的表 一致，但是没有数据是空表

      细节

      1. 数据类型 int string varchar char double float boolean  
2. location hdfs_path
   定制创建表的位置，默认是 /user/hive/warehouse/db_name.db/table_name
   create table t_suns(
   id,int
   name,string
   )row format delimited fields terminated by '\t' location /xiaohei ;
   启示：日后先有hdfs目录，文件，在创建表进行操作。
3. 查看hive表结构的命令
   desc table_name        describe table_name
   desc extended table_name
   desc formatted table_name

    2. 外部表

      1. 基本
create external table if not exists table_name(
id int,
name string
) row delimited fields terminated by '\t' [location 'hdfs_path'];
2. as 
create external table if not exists table_name as select id,name from t_users [location ''];
3. like
create external table if not exists table_name like t_users [location 'hdfs_path'];

      1. 管理表和外部表的区别
drop table t_users_as; 删除管理表时，直接删除metastore,同时删除hdfs的目录和数据文件
drop table t_user_ex;  删除外部表时，删除metastore的数据。
2. 外部表与管理表使用方式的区别

在这里插入图片描述
3. 分区表 【查询优化】
思想：如下图所示
在这里插入图片描述
~~~sql
create table t_user_part(
id int,
name string,
age int,
salary int)partitioned by (data string) row format delimited fields terminated by ‘\t’;

  load data local inpath '/root/data15' into table t_user_part partition (date='15');
  load data local inpath '/root/data16' into table t_user_part partition (date='16');
  
  select * from t_user_part  全表数据进行的统计
  
  select id from t_user_part where data='15' and age>20;
  ~~~

  1. 桶表 【略】抽样

  2. 临时表 【略】

  3. 数据的导入

    1. 基本导入 【重点】

      load data local inpath 'local_path' into table table_name

    2. 通过as关键完成数据的导入【重点】

      建表的同时，通过查询导入数据
create table if not exists table_name as select id,name from t_users

    3. 通过insert的方式导入数据 【重点】

      #表格已经建好，通过查询导入数据。
create table t_users_like like t_users;

insert into table t_users_like select id,name,age,salary from t_users;

    4. hdfs导入数据 【了解】

      load data inpath 'hdfs_path' into table table_name

    5. 导入数据过程中数据的覆盖【了解】

      load data inpath 'hdfs_path' overwrite into table table_name
本质 把原有表格目录的文件全部删除，再上传新的

    6. 通过HDFS的API完成文件的上传【了解】

      bin/hdfs dfs -put /xxxx  /user/hive/warehouse/db_name.db/table_name

  4. 数据的导出

    1. sqoop 【重点】

      hadoop的一种辅助工具  HDFS/Hive  <------> RDB (MySQL,Oracle)

    2. insert的方式【了解】

      #xiaohei一定不能存在，自动创建
insert overwrite 【local】 directory '/root/xiaohei' select name from t_user;

    3. 通过HDFS的API完成文件的下载【了解】

      bin/hdfs dfsd -get /user/hive/warehouse/db_name.db/table_name /root/xxxx

    4. 命令行脚本的方式【了解】

      bin/hive --database 'baizhi_150' -f /root/hive.sql > /root/result

    5. Hive提供导入，导出的工具【了解】

      1. export 导出
	export table tb_name to 'hdfs_path'
2. import 导入
	import table tb_name from 'hdfs_path'

  5. Hive相关的配置参数

    1. hive-default.xml 
2. hive-site.xml 

javax.jdo.option.ConnectionURL
javax.jdo.option.ConnectionDriverName
javax.jdo.option.ConnectionUserName
javax.jdo.option.ConnectionPassword
hive.cli.print.current.db
hive.cli.print.header

<property>
   <name></name>
   <value></value>
</property>

3. bin/hive --hiveconf hive.cli.print.current.db=false
4. hive>set hive.cli.print.current.db 查看参数
        set hive.cli.print.current.db=true; 设置参数

    #与MR相关的参数
Map --> Split  ---> Block 
#reduce相关个数
mapred-site.xml
<property>
     <name>mapreduce.job.reduces</name>
     <value>1</value>
</property>
hive-site.xml
<!--1G-->
<property>
	  <name>hive.exec.reducers.bytes.per.reducer</name>
	  <value>1000000000</value>
</property>
<property>
     <name>hive.exec.reducers.max</name>
     <value>999</value>
</property>

    <!--在查询中是否启动MR 是如下参数配置决定的 -->
<property>
  <name>hive.fetch.task.conversion</name>
  <value>minimal</value>
  <description>
    1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
    2. more    : SELECT, FILTER, LIMIT only (TABLESAMPLE, virtual columns)
  </description>
</property>

  6. Hive相关的启动参数

    1. 启动hive终端时，临时设置hive的配置参数
  bin/hive --hiveconf
2. 启动hive时，指定启动的数据库
  bin/hive --database Hive_1
3. 启动hive时，可以执行sql命令，执行完毕后，退出
  bin/hive -e 'sql'
  bin/hive --database Hive_1 -e 'sql'
  bin/hive --database Hive_1 -e 'select * from t_user' > /root/result
  bin/hive --database Hive_1 -e 'select * from t_user' >> /root/result
4. 启动hive是，如果需要执行多条sql可以把sql写在一个独立的文件里，执行。完毕退出
  bin/hive -f /root/hive.sql
  bin/hive --database Hive_1 -f /root/hive.sql > /root/result
  bin/hive --database Hive_1 -f /root/hive.sql >> /root/result

  7. 开发过程中，对于Hive使用的分析
    在这里插入图片描述

晓枫桥亭
关注
专栏目录
hadoop生态圈(HBase、HDFS、 Pig、Hive、Sqoop)——小白入门笔记
cainiao22222的博客
08-22 1710
Hadoop生态圈 上图为学习视频中一张Hadoop生态圈截图 HDFS：分布式文件系统，底层数据存储 Hbase：分布式列式数据库，适用实时数据分析，属于NoSql数据库 Hive：数据库仓库工具，适用于离线数据分析，可以用于计算趋势或网站日志 Pig：数据流语言，用于简化Hadoop任务，对MapReduce进行更高层次的封装，执行效率快，适用于实时分析 Sqoop：用于传统数据...
Hive基础—Hadoop生态圈（五）
wsjslient的博客
11-19 482
博客目录前言（Hive产生背景）一、Hive的定义二、Hive的优点&缺点a、Hive的优点b、Hive的缺点 前言（Hive产生背景） &mapreduce编程的不便性、代码量较大 hdfs上的文件缺少schema，hdfs你存一个文件上去仅仅只是一个文件，对于schema可以这么理解，关系型数据库我们创建一张表，你要指定表名、制定列的名称、类型，这些就叫做schema，而hdfs上面是没有schema 的，那么就没有办法通过sql的方式来对分布式文件系统上的数据查询，那么这样子的话你
hadoop生态之hive
诸葛老刘的博客
06-29 397
文章目录1. hadoop生态之hive定位2. 数据仓库 简介2.1 数据仓库的概念2.2 数据仓库听结构及其建立过程2.3 OLTP和OLAP的区别2.4 数据模型3. Hive简介4. Hive的体系结构 1. hadoop生态之hive定位 2. 数据仓库 简介 2.1 数据仓库的概念 面向主题的, 集成的, 不可更新的,随时间不变化的数据集合,主要用于查询, 它用于支持企业或组织的决...
hadoop生态圈----hive
m0_58258383的博客
08-05 884
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 其本质是将hiveSQL转化成MapReduce程序。其处理的数据存储与HDFS上，对数据的处理底层实现是MapReduce，其执行程序运行与yarn上。...
Hadoop生态圈hive应用
热门推荐
未昔的博客
07-29 6万+
第 1 章 Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 1.2 Hive 的优缺点 1.2.1 优点 1) 操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写 MapReduce，减少开发人员的学习成本。 3) Hive 的执行延迟比较高，因此 Hive 常用于数
大数据 hive 实战数据
04-07
让我们深入探讨一下这两个部分以及与Hive、大数据、Hadoop和数据仓库相关的知识点。 首先，`video`数据可能包含了关于视频的各种信息，如视频ID、视频标题、时长、分类、上传日期、播放次数、评论数量等。这些数据...
大数据 Hive 入门例子和代码
最新发布
05-27
大数据 Hive 入门例子和代码 第1章：Hive 简介 Hive 是一个数据仓库软件项目，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。Hive 定义了一种类似于 SQL 的查询语言，称为 HiveQL，它允许用户...
大数据hive数据倾斜，hive-sql优化
08-17
大数据Hive数据倾斜、Hive-SQL优化 在大数据处理中，Hive是一个非常重要的工具，然而在实际应用中，数据倾斜和性能优化问题经常会出现。为了解决这些问题，我们需要了解Hive的性能调优、数据模型设计、数据倾斜判断...
大数据HIVE视频教程-免费
01-14
这个是大数据Hive的教学视频，主要是用来学习的，大家一起学习！
hadoop生态圈中hive模块100问
SmartShylyBoy的博客
09-10 314
一、嘛是数据仓库和数据库的区别？ hive的是一个数据仓库，数据仓库是面向主题的，偏向于做OLAP（online-Analytical-Processing），只要工作是方便给决策人员提供报表，来做决策分析。而传统关系型数据库比如MySQL是面向应用，主要工作是在指定的隔离机制中做增删改查的，偏向OLTP（Online-Transation-Processing）联机事务处理，同样二者数据存储结...
Hadoop生态系统之Hive
Child2的博客
03-12 1434
本文将从Hive的大方向上及Hive细节使用这两个方向来阐述： 1、Hive是什么？hive在Hadoop生态系统中充当什么角色？为什么需要学习使用Hive 2、如何使用Hive及代码演示 一 宏观剖析 1 Hive是个啥？ 摘自百度百科 hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映...
Hadoop生态hive（一）介绍
茅坤宝骏氹的博客
11-10 382
一、Hive是什么 起源自facebook由Jeff Hammerbacher领导的团队，构建在Hadoop上的数据仓库框架。设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据。2008年facebook把hive项目贡献给Apache。 由facebook开源，最初用于解决海量结构化的日志数据统计问题。ETL（Extraction-Transfo...
Hadoop生态圈（六）：Hive（一）
jiezou12138的博客
04-18 972
目录 1 Hive基本概念 1.1 什么是hive 1.2 hive的特点 1.2.1 优点 1.2.2 缺点 1.3 Hive架构原理 1.4 Hive和数据库比较 2 Hive安装 2.1 hive下载地址 2.2 hive安装部署 2.3 将本地文件导入Hive案例 2.4 Mysql安装（root用户） 2.4.1 安装包准备 2.4.2 安装mysql服务器 ...
大数据(九) - Hive
will的成长之路
01-19 5129
构建在Hadoop之上的数据仓库，数据计算使用MR，数据存储使用HDFS         因为数据计算使用mapreduce，因此通常用于进行离线数据处理 Hive 定义了一种类 SQL 查询语言——HQL         类似SQL，但不完全相同 可认为是一个HQL-->MR的语言翻译器。 简单，容易上手 有了Hive，还需要自己写MR程序吗？         Hive的H
Hive-基本概念
汪云辉的博客
09-03 889
hive 1-hive简介 1.1什么是 Hive Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。 Hive 本质: 将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计...
不同Hadoop模式下，Hive元数据文件存储位置
weixin_30418341的博客
04-21 587
假如在hive的配置文件hive-site.xml中，属性hive.metastore.warehouse.dir被设置为/root/hive/warehouse。 如果Hadoop是本地模式，则仓库路径是file:///root/hive/warehouse； 其他模式则是hdfs://namenode_server/root/hive/warehouse，其中namenode_server...
Hadoop生态简介，Hive、Spark、HBase等
随便写写，随便写写
05-16 4205
Hadoop生态全景介绍，Spark、Hive、HBase等
大数据Hive性能优化策略与实战案例
在大数据领域，Hive作为一种重要的数据仓库工具，其性能优化是确保大规模数据分析高效执行的关键。Hive性能优化涉及多个层面，首先，理解Hadoop的核心能力是基础，因为Hive本质上是基于Hadoop MapReduce的SQL查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值