hadoop
solin00
这个作者很懒,什么都没留下…
展开
-
Ubuntu16.04下安装Hadoop2.6.2 (单机模式)
一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 sudo addgroup hadoop 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop ...原创 2016-07-21 15:12:51 · 507 阅读 · 0 评论 -
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图; 1.2 hadoop2...原创 2016-08-05 15:59:28 · 134 阅读 · 1 评论 -
Hbase1.2.2集群+Hadoop集群搭建
HBase安装 HBase的安装也有三种模式:单机模式、伪分布模式和完全分布式模式,在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经安装完毕,并能正确运行。 第一步:下载安装包,解压到合适位置,并将权限分配给hadoop用户(运行hadoop的账户)这里下载的是hbase-1.2.2,Hadoop集群使用的是2.7.2,将其解压到/usr/local下并重命名为h...原创 2016-08-08 18:03:05 · 150 阅读 · 0 评论 -
基于Hadoop的大数据平台整体架构设计
1. 软件架构设计 大数据平台架构设计沿袭了分层设计的思想,将平台所需提供的服务按照功能划分成不同的模块层次,每一模块层次只与上层或下层的模块层次进行交互(通过层次边界的接口),避免跨层的交互,这种设计的好处是:各功能模块的内部是高内聚的,而模块与模块之间是松耦合的。这种架构有利于实现平台的高可靠性,高扩展性以及易维护性。比如,当我们需要扩容Hadoop集群时,只需要在基础设...原创 2016-08-11 10:37:07 · 1237 阅读 · 0 评论 -
Hive2.1.0安装及配置mysql
安装Hive2.1.0 1.准备工作:安装JDK、Hadoop 2.下载并解压Hive wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz cp apache-hive-2.1.0-bin.tar.gz /usr/local tar -zxvf a...原创 2016-08-26 15:21:00 · 275 阅读 · 0 评论