自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 问答 (3)
  • 收藏
  • 关注

原创 初识Hive

Hive是什么Hive是一个基于Hadoop文件系统的数据仓库,提供了对数据进行ETL(抽取,转换,加载)的工具、数据存储管理和大型数据集的查询分析能力。Hive提供了类SQL语言-HiveQL,可使用关系数据库提供的的SQL语句来操作Hive。Hive擅长做什么?Hive擅长在不变的、大规模的数据集上执行的批量操作。Hive具有良好的扩展性,因为其建立在HDFS上,可自动适应机器数目和数据量的

2017-07-31 21:54:07 484

原创 Hadoop分布式集群搭建

前面分享了hadoop伪分布式的搭建方法,这次来分享一下分布式方式的搭建方法。 主机安装或虚拟机安装这里就不再赘述,下面直接进入正题:1.下面是网络配置,全部为静态:master : 192.168.80.128slave-1 : 192.168.80.129slave-2 : 192.168.80.130slave-3 : 192.168.80.131slave-4 : 192.168.

2017-07-14 18:50:05 682

原创 HDFS的架构设计

HDFS为是Apache Hadoop Core项目的一部分,是Hadoop的核心项目,今天我们就来讨论以下关于HDFS架构设计问题。分布式既然HDFS标榜为一个分布式文件系统,那首要解决的就是分布式的问题。分布式,简单来说就是分布在各个节点,这些节点可能在不同的主机上,也可能在不同的数据中心,甚至还可能跨地区,跨国度。各节点之间通过网络来进行信息交互。DHFS通过Namenode和Datanode

2017-07-14 14:04:55 644

原创 Hadoop学习笔记之--Hadoop的安装

由于没有集群环境,只能在一台电脑上进行Hadoop的搭建,因此只能以伪分布式的方式进行搭建。准备工作操作系统:CentOS 7 JDK版本:1.8.0_131 Hadoop版本:2.8.0操作系统安装系统最好为Linux,推荐CentOS,关于系统安装,这里不赘述。JAVA环境配置1.下载jdk$ wget http://download.oracle.c

2017-07-12 20:03:19 620

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除