![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
liangzelei
这个作者很懒,什么都没留下…
展开
-
Hive的DDL数据定义
创建数据库创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.dbhive (default)> create database db_hive;避免要创建的数据库已经存在错误,增加if not exists判断。(标准写法)hive> create database db_hive;FAILED: Execution Error, retu...原创 2018-04-30 21:40:25 · 251 阅读 · 0 评论 -
UDF开发以及如何添加到HIVE中
自定义开发案例1)创建一个java工程,并创建一个lib文件夹2)将hive的jar包解压后,将apache-hive-1.2.2-bin\lib文件下的jar包都拷贝到java工程中。3)创建一个类 package com.lzl.hive; import org.apache.hadoop.hive.ql.exec.UDF; public cl...原创 2018-07-25 16:59:40 · 3344 阅读 · 0 评论 -
配置 Hive 支持 JSON 存储
在 Hive 中采用 Json 作为存储格式,需要建表时指定 Serde。Insert into 时,Hive 使用 json格式进行保存,查询时,通过 json 库进行解析。Hive 默认输出是压缩格式,这里改成不压缩。具体操作步骤如下:1) 将 json-serde-1.3.8-jar-with-dependencies.jar 导入到 hive 的/opt/module/hive/li...原创 2018-07-25 16:48:22 · 1632 阅读 · 0 评论 -
SparkSQL与Hive集成
1、使用内置的Hive 【hive1.2.1】 1、注意:如果发现master节点有 matestore_db出现,删除, 然后,启动客户端 配置: bin/spark-shell --master spark://master01:7077 --conf spark.sql.wareho...原创 2018-06-08 11:21:03 · 763 阅读 · 0 评论 -
Sqoop常用命令及参数
常用命令列举序号命令类说明1importImportTool将数据导入到集群2exportExportTool将集群数据导出3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar4create-hive-tableCreateHiveTableTool创建 Hive 表5evalEvalSqlTool查看 SQL 执行结果6import-all-tablesImpor...原创 2018-05-14 10:22:07 · 6849 阅读 · 0 评论 -
Sqoop基本使用
导入数据在 Sqoop 中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用 import 关键字。、RDBMS 到 到 HDFS1) 确定 Mysql 服务开启正常2) 在 Mysql 中新建一张表并插入一些数据$ mysql -uroot -p123456mysql> create database company;...原创 2018-05-14 09:57:57 · 550 阅读 · 0 评论 -
HBase与Hive集成使用
HBase版本 1.3.1Hive版本 1.2.1环境准备$ exportHBASE_HOME=/home/admin/modules/hbase-1.3.1$ exportHIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin$ ln -s$HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/h...原创 2018-05-13 15:55:37 · 1170 阅读 · 0 评论 -
Hive数据类型
基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数5SMALINTshort2byte有符号整数5INTint4byte有符号整数55BIGINT long8byte有符号整数5BOOLEANboolean布尔类型,true或者falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdouble双精度浮点数3.14...原创 2018-04-27 09:23:54 · 14781 阅读 · 0 评论 -
基于CentOS的Hive安装部署与基本操作
Hive安装参考 1.Hive官网地址:http://hive.apache.org 2.官方文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3.下载地址:http://archive.apache.org/dist/hive/ (本例使用的是hive-1.2.1) 4.githu...原创 2018-04-26 16:44:35 · 1492 阅读 · 0 评论 -
数据仓库
什么是数据仓库数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库能干什么?1)年度销售目标的指定,需要根据以往的历史报表进行决策,不能拍脑袋。2)如何优化业务流程 例如:一...原创 2018-05-01 14:26:09 · 221 阅读 · 0 评论 -
Hive的函数
系统自带的函数查看系统自带的函数hive> show functions;显示自带的函数的用法hive> desc function upper;详细显示自带的函数的用法hive> desc function extended upper;自定义函数描述Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展当Hive提供的内置函数无法...原创 2018-05-01 10:40:11 · 203 阅读 · 0 评论 -
Hive的查询
官网基本查询(Select…From) 全表和特定字段查询1)全表查询hive (default)> select * from emp;2)选择特定列查询hive (default)> select empno, ename from emp;3)注意HQL 语言大小写不敏感。 HQL 可以写在一行或者多行关键字不能被缩写也不能分行各子句一般要分行写使用缩进提高语句的可读性列别名紧跟...原创 2018-05-01 10:25:51 · 578 阅读 · 0 评论 -
Hive的DML数据操作
数据导入向表中装载数据(Load)用法:hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2)local:表示从本地加载数据到hive表;否则从HDFS加载数...原创 2018-04-30 22:30:17 · 142 阅读 · 0 评论 -
Hbase和Mysql文件互相导入
以下的步骤都是我实验成功后的记录下来的,只记录了大体的步骤,由于环境的差异,可能导致你的操作并不一定会成功!不要机械的式的复制,要结合你本机的环境去处理。对于配置选项,有些我也不抬理解,待理解之后再来补充。实验环境:Linux 16.04.3hadoop-2.8.1hbse-1.2.6hive-2.2.0sqoop-1.4.6.bin__hadoop-2.0.4-alpha一、...转载 2018-07-25 20:47:13 · 2488 阅读 · 0 评论