阿里云上安装伪分布式hadoop

一.主要设计到的点

1	安装jdk
2	ssh免密码登录
3	安装hadoop

二.下载适合的jdk版本，根据系统的位数下载，此处是64位的， 下载地址为https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

• 把 jdk-8u201-linux-x64.tar.gz 上传到usr/java
• cd usr/java
• 解压：tar -zxvf jdk-8u201-linux-x64.tar.gz
• 解压出来的文件夹为jdk1.8.0_201/
• 删除jar包 ：rm -rf jdk-8u201-linux-x64.tar.gz
• 配置系统文件：vi etc/profile
• 在其尾部添加环境变量

export JAVA_HOME=/usr/lib/java/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

然后用java -version 去查看是否安装正确。

三.SSH免登录

1. 安装ssh: yum install openssh-clients openssh-server 安装完成后，使用以下命令测试：
   ssh localhost 输入 root 账户的密码，如果可以正常登录，则说明SSH安装没有问题。

2. hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本例是在单机上模拟分布式过程,因此需要针对本机(localhost)进行免key登陆的配置。
   依此输入如下命令进行配置:

   ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   chmod 0600 ~/.ssh/authorized_keys

3. 验证是否可以免登录：ssh localhost

四。安装hadoop，下载地址为https://hadoop.apache.org/releases.html
我下载的是最新版本
hadoop-2.9.2.tar.gz，直接拿来用的

• mkdir soft上传压缩包到此文件。
• 解压 tar -zxvf hadoop-2.9.2.tar.gz 配置文件
• vi /etc/profile 配置hadoop路径

#配置hadoop home

export HADOOP_HOME=/soft/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin 
export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib 

为了是环境变量生效要用：source /etc/profile
此时要修改hadoop的文件信息，主要包括core-site.xml,hdfs-site.xml
cd soft/hadoop-2.9.2/etc/hadoop/
vi core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop/tmp</value>

</property>
</configuration>

保存按esc,然后输入：wq! 退出即可

vi hdfs-site.xml

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
    <property>
	    <name>dfs.replication</name>
	    <value>1</value>
    </property>
</configuration>

vi mapred-site

<configuration>
    <property>
    	    <name>mapreduce.framework.name</name>
    	    <value>yarn</value>
    </property>
</configuration>  

格式化NameNode:
[root@mater hadoop-2.9.2]# hadoop namenode -format
启动
[root@mater hadoop-2.9.2]# sbin/start-all.sh
查看jps
![在这里插入图片描述](https://img
此时可以打开浏览器

接下来就可以玩一下hadoop喽