- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据平台搭建（四）：hive中的表及UDF
前言 本章介绍hive内部表、外部表、分区表和UDF等。1.hive表介绍 1.Hive虽说是数据仓库，其实可以认为就是一个mysql数据库，hive中的表名对应的是hdfs上的文件目录名，表内容就是对应目录下的文件。 2.hive表的hdfs路径 在hive-site.xml中，由参数hive.metastore.wareh...
2018-04-13 21:07:17
2135
原创 大数据平台搭建（三）：hive 介绍和安装配置
前言 集群我们已经弄好了，本章开始搭建hive。1.hive介绍 1.Hive是什么？ 官方解释：Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将...
2018-04-13 17:18:38
2046
原创 大数据平台搭建（二）：hadoop HA 集群搭建
前言 本章搭建zookeeper集群和hadoop集群1.hadoop版本的选择 1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
2018-04-11 17:52:21
2758
1
原创 大数据平台搭建（一）：虚拟机环境配置
前言 最近看了些hadoop相关的资料，然后想自己从零开始搭建一个大数据平台。大数据平台架构 1.概念性的东西还是不想多啰嗦，先上一张网上找的平台架构图，上图的目的是为了大家对整个平台架构有个宏观的认识，这个很重要，如果盲目的零碎的去研究效果很差。 2.目标当然是整合图中所有框架和组件，但是时间可能有限，机器也有限(本机搭建)。所以，我...
2018-04-10 17:25:22
7576
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人