大数据技术
你爱吃香菜吗
Stay Hungry Stay Foolish
展开
-
Hadoop集群搭建之Linux部分
一.Linux集群部署除了VMware,你还需要下载一个镜像文件“CentOS-6.6-x86_64-bin-DVD1.iso”本文所述均在一台笔记本电脑上模拟实现集群的部署。该笔记本电脑配置如下,Windows7旗舰版64位操作系统;处理器:Intel(R) Core(TM)i5-4210H CPU @2.90GHz 2.90GHz;内存(RAM):12.0GB的笔记本电脑上安装了四台...原创 2019-01-05 16:00:13 · 303 阅读 · 1 评论 -
Hadoop集群搭建之HDFS部分
二.Hadoop集群搭建本文是在《Hadoop集群搭建之Linux部分》基础上继续阐述的。本文中安装的Hadoop版本信息为:hadoop-2.8.31.HDFS核心配置本文中,在HDFS部分一些非常重要的核心参数配置如图1-1所示。对HDFS核心参数配置简述如下:namenode在主机名为cts01机器上运行;namenode存元数据的本地目录为:/root/hdpdat...原创 2019-01-05 16:33:44 · 285 阅读 · 1 评论 -
Hadoop相关技术
一.Hadoop简介Hadoop是由Apache软件基金会所开发的分布式系统架构,用户可以将自己所开发的分布式程序部署其上面,充分利用集群的优势对海量数据进行高速运算和存储。Hadoop的框架最核心的设计是:HDFS和MapReduce。HDFS为海量数据提供了存储,MapReduce为海量数据提供了运算。二.HDFS分布式文件系统HDFS是一种分布式文件系统。它出现的目的是为了解决海...原创 2019-01-05 19:53:42 · 2148 阅读 · 0 评论