hadoop单节点的配置

一、 hadoop的配置

离开安全模式

 hadoop  dfsadmin  –safemode  leave

修改root用户密码

sudo passwd 设置root的密码

passwd 设置自己的密码

关闭ubuntu的防火墙: ufw disable

普通用户

一、添加hadoop用户组和hadoop用户

创建hadoop用户组：sudo addgroup hadoop

创建hadoop用户：  sudo adduser -ingroup hadoop hadoop

二、安装ssh

安装命令：sudo apt-get install openssh-server

启动服务：sudo /etc/init.d/ssh start

查看服务是否启动：ps -e | grep ssh

修改配置文件，允许root用户远程登陆：

打开"终端窗口"，输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存，修改成功。

 

1、免密码登录

生成密钥

root@hadoop01:~/Hadoop# ssh-keygen -t rsa -P ""

将公钥追加到authorized_keys

root@hadoop01:~/.ssh# cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

root@hadoop01:~/.ssh# ls

authorized_keys  id_rsa  id_rsa.pub

2、配置hadoop环境变量

root@hadoop01:/usr/bin# vi  /etc/profile

export JAVA_HOME=/home/hadoop/setup/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop/setup/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

oot@hadoop01:/usr/bin# source  /etc/ profile

查看环境：

root@hadoop01:/usr/bin# echo $PATH

 

3、配置Hadoop伪分布式的步骤（要修改5个文件）

（1）、hadoop-env.sh

 25行 export JAVA_HOME=/root/app/jdk1.8.0_131

 

（2）、core-site.xml

<configuration>

        <property>

<!-- 指定HDFS老大（namenode）的通信地址 -->

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop01:9000</value>

        </property>

        <property>

<!-- 指定hadoop运行时产生文件的存储路径 -->      

                <name>hadoop.tmp.dir</name>

                <value>/Hadoop/setup/tmp</value>

        </property>

</configuration>

 

 

 

（3）、hdfs-site.xml

<configuration>

        <property>

<!-- 设置hdfs副本数量 -->

                <name>dfs.replication</name>

                <value>1</value>

        </property>

 

 

 

     <property>

<!--用于确定将HDFS文件系统的元信息保存在什么目录下-->

         <name>dfs.namenode.name.dir</name>

         <value>file:/Hadoop/setup/dfs/name</value>

    </property>

     <property>

<!--用于确定将HDFS文件系统的数据保存在什么目录下-->

        <name>dfs.datanode.data.dir</name>

         <value>file:/Hadoop/setup/dfs/data</value>

     </property>

</configuration>

 

（4）、maprea-site.xml

<configuration>

<!-- 通知框架MR使用YARN -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

 

（5）、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>

<!-- NodeManager取数据的方式是mapreduce_shuffle -->

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

 

 

        <property>

<!-- 指定yarn的老大的地址（resourcemanager） -->

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop01</value>

        </property>

</configuration>

 

 

4、格式化hdfs

root@hadoop01:~/Hadoop/hadoop-2.7.3/etc/hadoop# hdfs namenode -format

 

5、启动hadoop

启动namenode和datanode: start-dfs.sh 

启动yarn：start-yarn.sh

启动全部:：start-all.sh

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程