在centOS6.5中搭载hadoop2.7.6

jdk安装：https://blog.csdn.net/taizhimin/article/details/53286486

免密：https://www.jb51.net/article/95897.htm
注意要修改文件的权限，才能登陆

hadoop配置文件所在目录: cd /usr/soft/hadoop-2.7.6/etc/hadoop
要退回到最开始的目录，才会cd到该目录

jdk、hadoop在/usr/soft目录下
配置环境变量 vim /etc/profile

export PS1=’[\u@\h pwd]$’

export JAVA_HOME=/usr/soft/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export HADOOP_HOME=/usr/soft/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile 是变量生效，用version检测是否配置成功

永久修改主机名：

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

vim /etc/hosts
192.168.229.136 master

配置免密 -------->https://www.jb51.net/article/95897.htm

cd到最开始的目录下：
cd /usr/soft/hadoop-2.7.6/etc/hadoop ---------->配置文件的位置

修改配置文件：
一、

vim hdfs-site.xml
<property>
  <name>dfs.replication</name>
    <value>1</value>
    </property>

二、
vim core-site.xml

<property>
     <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>      <-- 主机名 IP地址-->
</property>

<property>	
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hadoop/tmp</value>
</property>

三、
这样配置：mapred-site.xml（更名之后）
vim mapred-site.xml

<!--MR运行的框架-->
<configuration>
<property>
   <name>mapreduce.framework.name</name>
      <value>yarn</value>
      </property>

四、
vim yarn-site.xml

<property> 

          <name>yarn.nodemanager.aux-services</name> 

          <value>mapreduce_shuffle</value> 

       </property> 

       <property> 

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 

          <value>org.apache.hadoop.mapred.ShuffleHandler</value> 

       </property> 

<property>

          <name>yarn.resourcemanager.hostname</name>

          <value>master</value>

       </property>

有一个坑：
vim hadoop-env.sh
在最上面的那一行 export JAVA_HOME=/usr/soft/jdk1.8.0_181
source hadoop-env.sh

配置绵密：
记得永久的关闭防火墙
两个命令同时运行，运行完成后查看防火墙关闭状态
service iptables status
vim /etc/ssh/sshd_config （很重要）

找到以下内容，并去掉注释符”#“

RSAAuthentication yes
　　PubkeyAuthentication yes
　　AuthorizedKeysFile      .ssh/authorized_keys

修改配置文件之后需要重启服务器
1.生成公钥和私钥
执行以下命令: ssh-keygen -t rsa 都直接回车
2.导入公钥到认证文件,更改权限
2.1 导入本机(192.168.2.10)

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.2 导入要免密码登录的服务器(192.168.2.11)
首先将公钥复制到服务器
$ scp ~/.ssh/id_rsa.pub root@192.168.2.11:/root/.ssh/id_rsa.pub

    然后，将公钥导入到认证文件(这一步的操作在服务器上进行)
    $  cat /root/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys 

2.3 在服务器上更改权限
   $   chmod 700 ~/.ssh
        chmod 600 ~/.ssh/authorized_keys 

给普通用户赋于root用户的权限：

ll /etc/sudoers 查看root用户的权限
chmod 604 /etc/sudoers 修改的root用户的权限赋于写的权限，才能进行下面的步骤
有三种方式：建议使用这一种
修改 /etc/sudoers 文件，找到root一行，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

写日志异常导致的不能启动
master: chown: changing ownership of `/usr/soft/hadoop-2.7.6/logs’: Operation not permitted
可能logs文件夹目录是root用户创建的,删除logs即可

Centos6.5安装配置NTP时间服务器
https://blog.csdn.net/zhulindan/article/details/72965416

在hadoop1中

在hadoop2中

hadoop1：
需要给hadoop用户组赋于权限
执行 chown 命令为当前用户赋予对目录可写的权限
sudo chown -hR Eddie（当前用户名） hadoop-xxx(当前版本)（需要root用户的权限）

坑：

me>dfs.replication</on
3


me>dfs.namenode.name.dir</na
/home/hadoop/tmp/data/name


me>dfs.datanode.data.dir</na
/home/hadoop/tmp/data/data

权限问题，也可能是配置的几个文件的目录的问题