Hadoop伪分布式配置

Hadoop伪分布式配置

1. 环境
机器centos7 hadoop2.7.1
2. 安装准备
2.1创建创建hadoop用户
创建用户useradd -m hadoop -G root -s /bin/bash
修改用户密码 passwd hadoop

创建用户权限visudo
hadoop ALL=(ALL) ALL 最大的权限和root一样

2.2安装SSH、配置SSH无密码登陆

1. 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验 rpm –qa |grep ssh
   
   如果出现了如图结果表示不用安装ssh
   没有的话需要安装 可以通过yum进行安装
   yum install openssh-clients
   yum install openssh-server
   接着执行如下命令测试一下 SSH 是否可用：
   ssh localhost
   此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
   
   每次要输入密码的不方便 我们要配置ssh无密码登陆比较方便步骤如下

2. exit # 退出刚才的 ssh localhost

3. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

4. ssh-keygen -t rsa # 会有提示，都按回车就可以

5. cat id_rsa.pub >> authorized_keys # 加入授权

6. chmod 600 ./authorized_keys # 修改文件权限

7. 输入ssh localhost 直接登录了
   
   2.3jdk安装
   介质准备：jdk-8u144-linux-x64.rpm
   删除自带的OpenJDK（如果有）
   使用root用户，输入命令：rpm -qa | grep jdk
   使用root用户，输入命令：yum remove openjdk
   安装JDK：rpm -ivh jdk-8u144-linux-x64.rpm
   
   查看JAVA版本：java –version
   . 设置环境变量
   vi /etc/profile
   在文件最后添加
   JAVA_HOME=/usr/java/jdk1.8.0_144
   JRE_HOME=/usr/java/jdk1.8.0_144/jre
   PATH=$PATH:$JAVA_HOME/bin:$JR{E}_{H}OME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV{A}_{H}OME/lib/tools.jar:$JRE_HOME/lib
   export JAVA_HOME JRE_HOME PATH CLASSPATH
   source /etc/profile
   退出命令行重新进入，查看环境变量是否生效
   
   2.4 安装hadoop2.9.0
   下载hadoop2.9.0
   解压hadoop2.9.0
   tar -xvf hadoop-2.8.0.tar.gz
   
   在hadoop里面建几个文件夹
   mkdir dfs
   mkdir tmp
   mkdir var
   mkdir dfs/name
   mkdir dfs/data
   进入/usr/local/hadoop/hadoop-2.9.0/etc/hadoop
   vim core-site.xml
   修改配置文件

   <name>hadoop.tmp.dir</name>
   
   <value>/usr/local/hadoop/hadoop-2.9.0</value>
   
   <description>Abase for other temporary directories.</description>
   

    <name>fs.default.name</name>

    <value>hdfs://192.168.248.140:9000</value>

            </property>

修改hadoop-env.sh 修改成jdk安装的位置

修改配置文件修改hdfs-site.xml
修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件
在configuration节点内加入配置:




说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

新建并且修改mapred-site.xml
在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：cp mapred-site.xml.template mapred-site.xml


配置完成后，执行 NameNode 的格式化
在hapdoop bin目录中执行命令./bin/hdfs namenode –format（出现我画的表示成功）


接着开启 NameNode 和 DataNode 守护进程。
启动命令 ./sbin/start-dfs.sh 密码为welcome1

停止命令 ./sbin/start-dfs.sh
查看启动成功没：jps

访问页面地址http://192.168.248.140:50070/