ubuntu16.04Hadoop伪分布模式环境搭建

ubuntu16.04Hadoop伪分布模式环境搭建

以下命令均在root账户

1、下载安装包（版本为Linux版本）
（1）jdk-8u261-linux-x64.tar
（2）hadoop-2.7.6.tar
2、安装JDK
找到jdk-8u261-linux-x64.tar包的位置，解压到/usr/local位置下

tar -zxvf jdk-8u261-linux-x64.tar -C /usr/local

解压之后进入配置文件

vim ~/.bashrc

在配置文件中输入

export JAVA_HOME=/usr/local/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin

退出后使配置文件生效

source ~/.bashrc

查看JDK是否配置成功

java -version

2、安装hadoop
找到hadoop-2.7.6.tar包的位置，解压到/usr/local位置下

tar -zxvf hadoop-2.7.6.tar -C /usr/local

解压之后进入配置文件

vim ~/.bashrc

在配置文件中输入

export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

退出后使配置文件生效

source ~/.bashrc

查看Hadoop是否配置成功

hadoop version

3、配置Hadoop
切换路劲

cd /usr/local/hadoop-2.7.6/etc/hadoop/

再执行命令

vim hadoop-env.sh

找到#export JAVA_HOME=/usr/local/java，将注释符号“#”去掉，并配置JDK路径

export JAVA_HOME=/usr/local/jdk1.8.0_261

4、安装SSH，并配置SSH免密登录

 apt-get install openssh-server
 ssh-keygen -t rsa

查看 ~/.ssh 目录在生成的认证文件

ls -la ~/.ssh

关闭防火墙，进入目录

vim /etc/ssh/sshd_config

将图中框内部分修改为：PermitRootLogin yes

保存退出，再重启ssh

service ssh restart

配置免密登录

ssh-copy-id student-virtual-machine

此处student-virtual-machine为自己的主机名
查看主机名

hostname

验证免密登录

ssh student-virtual-machine

5、Hadoop配置(配置文件中data、tmp、name等目录为自己创建）
在/usr/local/hadoop-2.7.6/etc/hadoop中，执行命令

vim core-site.xml

进入后进行配置

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.6/data/tmp</value>
</property>
</configuration>

执行命令,配置文件

vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>   
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.6/data/tmp/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.6/data/tmp/data</value>
</property>
</configuration>

执行命令复制文件并修改文件名

 cp mapred-site.xml.template mapred-site.xml

进入配置文件

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

进入配置文件

 vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux_services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>

6、格式化HDFS
切换到Hadoop安装目录，输入命令

cd /usr/local/hadoop-2.7.6
./bin/hdfs namenode -format

7、验证测试

start-all.sh