数据仓库
Ancony_
这个作者很懒,什么都没留下…
展开
-
HCatalog快速入门
1 HCatalog简介1、什么是HCatalogHCatalog是Hadoop的表存储管理工具。它将Hive Metastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具(Pig,MapReduce)的用户能够轻松将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储。 HCatalog像Hive的一个关键组件一样工作,它使用户能够以任何格式和任何结构存储他们的...翻译 2018-04-11 21:46:31 · 15679 阅读 · 3 评论 -
Hive知识点总结
以hive 1.2.1版本为例。1 Hive的安装1.1 关于Hadoop首先需要注意的是,Hive是一个基于Hadoop的数据仓库工具。所有要安装Hive,首先需要安装Hadoop。要使用Hive,首先需要保证Hadoop正常运行,然后再使用Hive。在安装其他组件的时候,一定要注意软件版本的匹配问题。不然会报一堆摸不到头脑的错误。1.2 关于元数据库Hive默认的元数据...原创 2018-10-03 23:25:19 · 964 阅读 · 0 评论 -
hbase compact
首先明白大合并和小合并是指什么。小合并:删除一条记录,就会在该记录上打上标记,被打上标记的记录就成了墓碑记录,该记录使用get和scan查询不到,但还是在HFile中。只有进行大合并的时候才会删除HFile中的墓碑记录。大合并:指定region的一个列族的所有HFile.合并完成后,这个列族的所有HFile文件合并成一个HFile文件,可以在shell中手动触发,但该动作相当耗资源。小合并...原创 2018-11-23 13:40:39 · 1299 阅读 · 1 评论 -
HBase自动大合并脚本
HBASE有默认的大合并机制。我们可以使用major_compact命令手动合并。但是如果hbase中的表很多的时候,就该写个脚本了。说明:只使用了major_compact这个合并命令。#!/bin/bashtime_start=`date "+%Y-%m-%d %H:%M:%S"`echo "开始进行HBase的大合并.时间:${time_start}"str=`echo...原创 2018-12-04 15:17:18 · 2164 阅读 · 0 评论