![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Movle
this is the way
展开
-
Hive基本概念
一.Hive基本概念:1.1 Hive1.官网:http://hive.apache.org/2.Apache HiveTM数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的 大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以 将用户连接到Hive。3.hive提供了SQL查询功能 hdfs分布式存储4.hive本质HQL转化为MapReduce程序。5.环境前提:启动hdfs集群启动yarn集群如果想用hive的话,需要提前安装部署好had原创 2020-05-10 08:36:58 · 370 阅读 · 0 评论 -
Hive安装配置
1.前提:mysql已安装hadoop集群已配置2.步骤(1)把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/(3)修改apache-hive-1.2.1-bin的名称为hive-1.2.1cd /opt/module原创 2020-05-10 08:40:52 · 393 阅读 · 0 评论 -
Hive基本操作
一.Hive基本操作(1)启动hivebin/hive(2)查看数据库show databases;(3)打开默认数据库use default;(4)显示default数据库中的表show tables;(5)创建一张表create table student(id int, name string) ;(6)显示数据库中有几张表show tables;(7)查看表的结构desc student;(9)向表中插入数据insert into student val原创 2020-05-10 08:43:22 · 353 阅读 · 0 评论 -
Hive常见属性配置
1.Hive数据仓库位置配置(1)Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下(2)在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹。(3)修改default数据仓库原始位置(将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中)<property><name>hive.metastore.w原创 2020-05-10 08:44:52 · 653 阅读 · 0 评论 -
Hive参数配置方式
1.查看当前所有的配置信息set;2.参数的配置三种方式(1)配置文件方式默认配置文件:hive-default.xml用户自定义配置文件:hive-site.xml 注意:用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。(2)命令行参数方式启动Hive时,可以在命令行添加-hiv原创 2020-05-10 08:45:50 · 430 阅读 · 0 评论 -
Hive将本地文件导入Hive案例
0.需求:将本地/opt/module/datas/student.txt这个目录下的数据导入到hive的student(id int, name string)表中。1.数据准备:在/opt/module/datas/student.txt这个目录下准备数据(1)在/opt/module/目录下创建datasmkdir datas(2)在/opt/module/datas/目录下创建student.txt文件并添加数据touch student.txtvi student.txt添加内原创 2020-05-11 00:03:17 · 3335 阅读 · 0 评论 -
Hive DDL数据定义
目录一.DDL数据定义 1.1 创建数据库 1.2 修改数据库 1.3 查询数据库 1.4 删除数据库 1.5 创建表 1.6 分区表 1.7 修改表 &nbs.原创 2020-05-11 00:03:45 · 174 阅读 · 0 评论 -
Hive之DML数据操作
目录1.1 数据导入1.2 数据导出1.3 清除表中数据(Truncate)1.1 数据导入1.1.1 向表中装载数据(Load)1.语法hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2)local:表示从本地加载数据到hive表;否则从HD.原创 2020-05-11 00:04:03 · 824 阅读 · 0 评论 -
Hive之查询
目录一.查询 1.1 基本查询(Select…From) 1.1.1 全表和特定列查询 1.1.2 列别名 1.1.3 算术运算符 &n.原创 2020-05-11 00:04:24 · 6597 阅读 · 0 评论 -
Hive之函数
目录 1.1 系统自带的函数 1.2 自定义函数 1.3 自定义UDF函数开发案例1.1 系统自带的函数1.查看系统自带的函数hive> show functions;2.显示自带的函数的用法hive> desc function upper;3.详细显示自带的函数的用法hive> desc function extende.原创 2020-05-11 00:04:41 · 333 阅读 · 0 评论 -
Hive-企业级调优
1.1 Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是min原创 2020-05-11 00:04:56 · 193 阅读 · 0 评论 -
Hive之压缩和存储
1.1 Hadoop源码编译支持Snappy压缩1.1.1 资源准备1.CentOS联网配置CentOS能连接外网。Linux虚拟机ping www.baidu.com是畅通的注意:采用root角色编译,减少文件夹权限出现问题2.jar包准备(hadoop源码、JDK8 、maven、protobuf)(1)hadoop-2.8.4-src.tar.gz(2)jdk-8u144-linux-x64.tar.gz(3)snappy-1.1.3.tar.gz(4)apache-maven-3.原创 2020-05-11 00:05:14 · 251 阅读 · 0 评论 -
HBase与Hive的集成
一.HBase与Hive的对比HiveHbase特点类SQL 数据仓库NoSQL (Key-value)适用场景离线数据分析和清洗适合在线业务延迟延迟高延迟低存储位置存储在HDFS存储在HDFS二.HBase与Hive集成使用1.环境准备因为后续会在操作Hive的同时对HBase也会产生影响,所以Hive需要持有操作HBase的Jar,那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式),记得还有把zookeeper的jar包考入原创 2020-05-17 09:10:10 · 132 阅读 · 0 评论