Hadoop安装

2019独角兽企业重金招聘Python工程师标准>>>

• 解压安装文件
• 修改配置文件（伪分布式）

     $HADOOP_HOME/etc/hadoop          (自己的$HADOOP_HOME:/etc/hadoop/hadoop2.9.2)

1. hadoop-env.sh
   vim hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk9.0.1
2. core-site.xml
           <!-- 制定NameNode的地址 -->
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://itcast01:9000</value>
           </property>
           <!-- 指定hadoop运行时产生文件的存储目录 -->
           <property>
               <name>hadoop.tmp.dir</name>
               <value>/itcast/hadoop-2.4.1/tmp</value>
           </property>
3. hdfs-site.xml
           <!-- 指定HDFS副本的数量 -->
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
4. mapred-site.xml 
           mv mapred-site.xml.template mapred-site.xml
           vim mapred-site.xml
           <!-- 指定mr运行在yarn上 -->
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
5. yarn-site.xml
       <!-- 指定ResourceManager的地址 -->
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>itcast01</value>
       </property>
       <!-- reducer获取数据的方式 -->
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>

• 添加到环境变量

vim /etc/proflie

JAVA_HOME=/usr/java/jdk-9.0.1
JRE_HOME=/usr/java/jdk-9.0.1/jre
HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME JRE_HOME HADOOP_HOME CLASS_PATH PATH

source /etc/profile

• 格式化NameNode

hdfs namenode -format

• 启动Hadoop

sbin/start-dfs.sh

sbin/start-yarn.sh

• 验证是否启动成功

使用jps命令

成功则显示：

15056 NameNode
15425 SecondaryNameNode
15921 NodeManager
18292 Jps
15606 ResourceManager
15215 DataNode

• 登录管理界面

http://IP:50070 （HDFS管理界面）
http://IP:8088 （MR管理界面）

• 配置ssh免登陆

    #生成ssh免登陆密钥
    #进入到我的home目录
    cd ~/.ssh

    ssh-keygen -t rsa （四个回车）
    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    将公钥拷贝到要免登陆的机器上
    ssh-copy-id localhost

 

转载于:https://my.oschina.net/u/3424784/blog/2993683