![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
cxy1991xm
这个作者很懒,什么都没留下…
展开
-
hive元数据信息表
一、hive表与视图相关的元数据表有TBLS、TABLE_PARAMS、TBL_PRIVS,这三张表通过TBL_ID关联。每张表只有一个TBL_ID和CD_ID1、TBLS该表中存储Hive表、视图、索引表的基本信息。 元数据表字段 说明 示例数据 TBL_ID 表ID 1 CREATE_TIME 创建时间 1436原创 2020-06-09 19:47:26 · 1114 阅读 · 0 评论 -
hive安装配置
server1:启动metastore服务,即在hive-site.xml中指定mysql相关信息,通过bin/hive --service metastore &启动server2:安装mysql,保存metastore元数据server3:安装客户端,在hive-site.xml中hive.metastore.uris指明了哪台机器提供metastore服务,通过bin/hive连...原创 2018-07-08 22:44:15 · 186 阅读 · 0 评论 -
hive原理和调优
hive原理Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL的查询功能。其基本原理是将HQL语句自动转换成MapReduce任务。Hive建立在Hadoop的其它组件之上:依赖于HDFS进行数据存储;依赖于MapReduce完成查询操作。一、hive组件组成1、Driver组件:该组件包括:Compiler、Optimizer、Executor...原创 2018-07-10 22:00:48 · 2749 阅读 · 1 评论 -
HIVE分析函数和窗口函数
一、SUM,AVG,MIN,MAXcookieid createtime pv ---------------------------------cookie1 2015-04-10 1cookie1 2015-04-11 5cookie1 2015-04-12 7cookie1 2015-04-13 3cookie1 2015-0...原创 2018-07-10 22:01:23 · 154 阅读 · 0 评论 -
hive hive-env.sh配置
hive 启动metastore、hiveserver2服务等等所有服务,都是通过hadoop jar命令加上自己的hive相关的jar包名执行的。1、调整hive相关服务的-Xmx堆内存大小在hive-env.sh中export HADOOP_HEAPSIZE=2048 #单位是MB,等同于-Xmx2048m,注意要注释掉hadoop-env.sh中的HADOOP_HEAPSIZE和HA...原创 2019-06-29 23:17:32 · 4380 阅读 · 0 评论 -
hive 常见问题汇总
1、hive的HiveMetaStore或者HiveServer2服务进程正常,但却不能提供相应服务原因:堆内存不足解决方案:在hive-env.sh中调整堆内存大小原创 2019-06-29 23:21:11 · 1283 阅读 · 0 评论 -
Hive中的InputFormat、OutputFormat与SerDe
1、SerDe is a short name for “Serializer and Deserializer.”Hive uses SerDe (and !FileFormat) to read and write table rows.HDFS files –> InputFileFormat –> <key, value> –> Deserializer ...原创 2019-06-30 16:01:53 · 1447 阅读 · 0 评论 -
hive建表插入元数据表过程
#table_name:表名#column:列名->类型#location:数据存储位置#partitionColumn:分区名->类型#field_delimit:列分隔符#is_parquet_type:是否parquetdef createTable(table_name, column, location, partitionColumn, field_delim...原创 2019-06-30 16:52:54 · 631 阅读 · 0 评论 -
hive 数字IP与字符串IP之间转换
字符串IP:192.168.123.26 对应的 数字IP:3232267034字符串IP --> 数字IPcast(split("192.168.123.26","\\.")[0] as bigint)*256*256*256+cast(split("192.168.123.26","\\.")[1] as bigint)*256*256+cast(split("192.16...原创 2019-10-11 17:10:39 · 2592 阅读 · 0 评论