❤_Queen-CSDN博客

原创 Hive搭建

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFSstart-dfs.sh# 启动yar...

2018-11-16 19:57:44 1415

原创高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型（NoSQL）数据库——Hbase

一、什么是Hbase二、Hbase分布式集群搭建Mysql和Hbase的区别：三、HBase 表存储结构HBase 表逻辑视图表的形式存储数据，表由行和列组成。列划分为若干个列簇 (Column Family)。2、HBase 表结构组成行键（RowKey）作用：用来检索记录的主键访问 HBase 表中的行，有三种方式：- 通过单个 RowKey 访问- 通过 RowKe...

2018-11-16 19:56:58 929

原创 Zookeeper集群搭建

一、初识Zookeeper1、Zookeeper概述什么是 ZooKeeper？译名为“动物园管理员” 开源的分布式协调服务，就是为用户的分布式应用程序提供协调服务。2、ZooKeeper 功能（1）为别的分布式程序服务（2）本身就是一个分布式程序（只要有半数以上节点存活，ZooKeeper 就能正常服务）（3）所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置...

2018-11-16 19:55:47 93

原创 Mapreduce三大组件之三———— SORT

一、基本思路自定义 bean 类来封装流量信息，实现 WritableComparable 接口将 bean 作为 Map 输出的 key 来传输重写compareTo方法，对 Map 输出的 key 实现自定义排序二、代码实现步骤1、自定义 bean 类来封装流量信息，实现 WritableComparable 接口，并将 bean 作为 Map 输出的 key 来传输2、定义成...

2018-11-16 19:54:47 321

原创 Mapreduce三大组件之二 Combiner——本地Reducer

一、什么是 Combiner？作用：在 MapTask 之后给 MapTask 的结果进行局部汇总以减轻 ReduceTask 的计算负载，减少网络传输每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一Combiner最基本是实现本地key...

2018-11-16 19:53:48 631

原创 Mapreduce三大组件之一Partitioner——实现自定义分区

MapReduce中数据流动（1）最简单的过程： map - reduce（2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce（3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce1、概述：Partitioner 组件可...

2018-11-16 19:51:57 1009

原创 Hadoop2.6.5 分布式集群搭建

一、Hadoop2.6.5 分布式集群搭建1、安装Hadoop准备安装包：hadoop-2.6.5.tar.gz上传到 Linux 服务器上去（我的上传目录是/home/xutao/Desktop/software）把软件解包解压缩到当前目录下:tar -zxvf hadoop-2.6.5.tar.gz2.Hadoop配置cd /home/xutao/Desktop/s...

2018-11-16 19:47:38 239

原创 Hadoop之Linux系统环境准备

服务器配置以及JDK的安装一、硬件准备1、服务器准备服务器准备：VMware12/10/14CentOS6.8 下载网址：http://vault.centos.org/2、网络环境准备NAT方式：不需要做任何网络设置，只要宿主主机上网即可上网IP地址，子网掩码，网关，DNS（外网）二、LINUX系统环境准备1、修改主机名root用户下：vim /etc/sysconfig...

2018-11-16 19:34:42 305

Mr_Queen