在Linux系统上搭建Hadoop集群

在Linux系统上搭建Hadoop集群

准备工作

1、上传CDH编译后的Hadoop

为什么要编译Hadoop
    由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题。

Hadoop的编译时间受电脑配置和其他因素决定，时间一般在 30min — 4h 不等。所以建议大家使用编译后的Hadoop压缩包进行安装配置。
（PS：后续也会跟进更新编译Hadoop的全过程）

2、关闭防火墙、关闭selinux、设置主机名和IP的对应

Linux初始化配置

3、配置ssh无密码访问

Linux集群配置SSH免密访问

4、安装JDK1.7

在Linux系统上安装JDK并配置环境变量

开始进行搭建Hadoop集群

第一步：上传编译后的Hadoop压缩包并解压

将我们重新编译之后支持 snappy 压缩的 Hadoop 包上传到第一台服务器并解压

第一台机器执行以下命令

cd /export/software

mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/

若Linux没有相应文件夹，就创建相关文件夹

第二步：查看Hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

yum -y install openssl-devel

第三步：修改配置文件

• 修改 core-site.xml

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS<