大数据学习系列之——环境搭建

一、centos装java

首先yum -y list java*查看有哪些java版本，然后可以看到有这些个版本：

java-1.5.0-gcj.x86_64                      1.5.0.0-29.1.el6              base   
java-1.5.0-gcj-devel.x86_64                1.5.0.0-29.1.el6              base   
java-1.5.0-gcj-javadoc.x86_64              1.5.0.0-29.1.el6              base   
java-1.5.0-gcj-src.x86_64                  1.5.0.0-29.1.el6              base   
java-1.6.0-openjdk.x86_64                  1:1.6.0.41-1.13.13.1.el6_8    base   
java-1.6.0-openjdk-demo.x86_64             1:1.6.0.41-1.13.13.1.el6_8    base   
java-1.6.0-openjdk-devel.x86_64            1:1.6.0.41-1.13.13.1.el6_8    base   
java-1.6.0-openjdk-javadoc.x86_64          1:1.6.0.41-1.13.13.1.el6_8    base   
java-1.6.0-openjdk-src.x86_64              1:1.6.0.41-1.13.13.1.el6_8    base   
java-1.7.0-openjdk.x86_64                  1:1.7.0.191-2.6.15.4.el6_10   updates
java-1.7.0-openjdk-demo.x86_64             1:1.7.0.191-2.6.15.4.el6_10   updates
java-1.7.0-openjdk-devel.x86_64            1:1.7.0.191-2.6.15.4.el6_10   updates
java-1.7.0-openjdk-javadoc.noarch          1:1.7.0.191-2.6.15.4.el6_10   updates
java-1.7.0-openjdk-src.x86_64              1:1.7.0.191-2.6.15.4.el6_10   updates
java-1.8.0-openjdk.x86_64                  1:1.8.0.181-3.b13.el6_10      updates
java-1.8.0-openjdk-debug.x86_64            1:1.8.0.181-3.b13.el6_10      updates
java-1.8.0-openjdk-demo.x86_64             1:1.8.0.181-3.b13.el6_10      updates

选择一个版本装，我们这里选择1.8，命令如下

yum -y install java-1.8.0-openjdk*

执行该命令后就开始装我们的jdk了，装好之后了java -version 验证一下

penjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

输出上面这个就说明你装好了

二、装headoop:

1.下载hadoop:

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.10.0.tar.gz

2.解压到home/hadoop下

tar zxvf hadoop-2.6.0-cdh5.10.0.tar.gz

3.配置slave1和slave2地址

编辑etc/hosts 文件

vi hosts:

添加内容如下：

master IP地址  master

slave1 IP地址  slave1

slave2 IP地址  slave2

这样便能通过名字slave1或者slave2名字来访问slave1或slave2了，而不是ip地址

3.ssh免密登录(root下)

a.在master机器下执行ssh-keygen生成公钥和秘钥

b.创建authorized_keys文件 将生成的公钥内容拷贝到authorized_keys中，命令如下：

cat id_rsa.pub >> authorized_keys

d.同样在slave1和slave2上执行ssh-keygen生成对应的公钥秘钥

e.将slave1和slave2上执行ssh-keygen生成对应的公钥拷贝到master的authorized_keys中

f.将master的authorized_keys分别拷贝到slave1和slave2中 命令如下：

scp -rp authorized_keys slave1:~/.ssh/

scp -rp authorized_keys slave2:~/.ssh/

命令：sudo vi /etc/ssh/sshd_config （修改SSH配置文件"/etc/ssh/sshd_config"），修改如下内容：

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

然后重启ssh测试一下，重启命令：service sshd restart

测试 ssh slave1 效果如下：

Last login: Fri Aug 17 21:05:54 2018 from 192.168.195.128 至此，免密登录创建成功。

4.配置hadoop 环境变量：vi  /etc/proflie

export HADOOP_HOME=/home/xyp/hadoop/hadoop-2.6.0-cdh5.10.0/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5.修改hadoop配置文件

在 hadoop 解压路径下面，/etc/hadoop/hadoop-env.sh 增加下面两行：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el6_10.x86_64
export HADOOP_HOME=/home/xyp/hadoop/hadoop-2.6.0-cdh5.10.0

在 hadoop 解压路径下面，/etc/hadoop/core-site.xml增加下面内容：

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000/<value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/xyp/hadoop/hadoop-2.6.0-cdh5.10.0/tmp<value>
  </property>
</configuration>

在 hadoop 解压路径下面，/etc/hadoop/hdfs-site.xml 增加下面内容，这里设置成3，表示数据有2个副本（数值不大于DataNode数）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

在 hadoop 解压路径下面，/etc/hadoop/mapred-site.xml 增加下面内容：

<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

在 hadoop 解压路径下面，/etc/hadoop/yarn-env.sh 增加下面，增加JAVA_HOME 配置：

export JAVA_HOME=/usr/bin/java/jdk1.8.0_181

在 hadoop 解压路径下面，/etc/hadoop/yarn-site.xml 增加下面内容：
 

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
  <property>
  <description>The address of the applications manager interface in the RM.</description>
  <name>Yarn.resourcemanager.address</name>
  <value>master:18040</value>
  </property>

  <property>
  <description>The address of the scheduler interface.</description>
  <name>Yarn.resourcemanager.scheduler.address</name>
  <value>master:18030</value>
  </property>

  <property>
  <description>The address of the RM web application.</description>
  <name>Yarn.resourcemanager.webapp.address</name>
  <value>master:18088</value>
  </property>

  <property>
  <description>The address of the resource tracker interface.</description>
  <name>Yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8025</value>
  </property>
</configuration>

在 hadoop 解压路径下面，/etc/hadoop/slaves 增加下面内容：

master
slave1
slave2

将hadoop-2.6.0-cdh5.10.0 复制到slave1和slave2上

scp -r hadoop-2.6.0-cdh5.10.0 slave1:/home/xyp/hadoop/

scp -r hadoop-2.6.0-cdh5.10.0 slave2:/home/xyp/hadoop/

进入/home/xyp/hadoop/hadoop-2.6.0-cdh5.10.0/sbin下执行  ./start-dfs.sh

jps查看进程，效果如下：

至此，我们的hadoop集群搭建完成~