- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hive整合hbase及导入数据测试
Hive是由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，底层依赖于HDFS存储数据，利用MapReduce进行计算，可以将结构化的数据映射为一张数据库表，并提供HQL。是 Apache Hadoop 的数据库，是建立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的非关系型的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。（三）通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。
2022-11-04 16:01:36
1427
1
原创 HIVE数据类型与函数
分桶将整个数据内容按照某列属性值的hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash 值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。通常，一个数据仓库系统，数据总有一个源头，而源由一般是别的应用程序产生的，其目录无法确定，为了方便映射，就可以在hive中用外部表映射。x表示从哪个桶(x-1)开始，y代表分几个桶，也可以理解分x为分子，y为分母，及将表分为y份（桶），取第x份（桶）。
2022-10-21 11:46:08
1490
1
原创 Hive安装与配置及常见问题解决
之前的定义：Hive是由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，底层依赖于HDFS存储数据，利用MapReduce进行计算，可以将结构化的数据映射为一张数据库表，并提供HQL。数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。配置hive前必不可少的一项，给mysql赋予权限。
2022-10-14 11:09:55
347
1
原创 Linux-centos7虚拟机环境配置搭建
如果你看不到以ifcfg-打头的文件（ifcfg-lo除外），说明网卡设备没有被正确识别，可能是你下载的centos镜像版本和你安装centos时选择的centos版本不一致，比如，centos镜像是64位的，却按照32位来安装。如果你看不到以ifcfg-打头的文件（ifcfg-lo除外），说明网卡设备没有被正确识别，可能是你下载的centos镜像版本和你安装centos时选择的centos版本不一致，比如，centos镜像是64位的，却按照32位来安装。vi命令则是最基础的修改文件的命令。
2022-09-16 10:27:45
4233
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人