Centos下docker搭建Hadoop集群

随着业务发展需要,数据量的逐步提升,需要用到hadoop来处理一些数据,所以搭建一个Hadoop集群,搭建Hadoop集群需要多台主机,但是由于资源有限,所以刚好可以利用近些年比较火的docker来搭建,用docker搭建也有一个好处,就是一次构建多节点重复利用。在上服务器之前,现在自己的电脑里用...

2018-01-16 19:37:58

阅读数:122

评论数:0

大数据安装之一——CentOS下安装JDK的三种方法

由于各Linux开发厂商的不同,因此不同开发厂商的Linux版本操作细节也不一样,今天就来说一下CentOS下JDK的安装: 方法一:手动解压JDK的压缩包,然后设置环境变量 1.在/usr/目录下创建java目录 [root@localhost ~]# mkdir/usr/ja...

2018-01-16 18:55:27

阅读数:62

评论数:0

搭建Hadoop大数据处理-环境

由于hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。 VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省...

2018-01-16 14:55:06

阅读数:291

评论数:0

大数据导论(二) Hadoop简介

基本介绍 Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代。除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计...

2017-10-11 19:10:40

阅读数:88

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭