大数据(2) -- linux虚拟机上hadoop伪分布式安装

# 大数据（2）—linux虚拟机上hadoop伪分布式安装

基于VMware Station，Ubuntu系统，伪分布式安装hadoop。

本文为本人课程实验报告，均为亲测。看需补充老师发的安装指导文件

目录

一、设置静态IP及上网

二、Hadoop伪分布式安装

---

一、设置静态IP及上网

1. 将网络连接中的vmnet1和vmnet8禁用

路径：控制面板\网络和 Internet\网络连接；选中并禁用即可：

2．虚拟机联网方式设置为桥接方式

在VMware中设置：虚拟机->设置->硬件->网络适配器->选择桥接模式  需要选择下面的复制物理网络连接状态选项

3．VMware中：编辑->虚拟网络编辑器->桥接模式->桥接到(选择无线网卡名)

这里的桥接至，我选择的是 自动。

4．用ifconfig查看网卡名，假设为：ens33（10.15.237.107）

5．编辑网络配置文件：gedit /etc/network/interfaces，设置成DHCP方式获取IP

设置DNS和主机一致，用ipconfig /all 在windows下查看，gedit  /etc/resolv.conf

6．/etc/init.d/networking restart    #使IP生效

7. ping www.baidu.com

ping 10.10.9.109（未响应）

ping host023（unknown host）

二、Hadoop伪分布式安装

三、Hadoop伪分布式安装

1.安装Java1.8

（1）tar zxvf  jdk-8u201-linux-x64.tar.gz

首先在/opt下创建java文件夹：

然后将压缩包复制进来：（cp 原文件地址 目标文件夹）

解压

（2）vi /etc/profile

   export JAVA_HOME=/opt/java/jdk1.8.0_201（解压路径）

   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   export PATH=$PATH:$JAVA_HOME/bin

由于vi模式下编辑总是出问题，所以改用sudo gedit /etc/profile 语句直接在文件内部进行编辑：

（3）source /etc/profile

（4）java -version

   javac -version

2.安装hadoop-2.7.0.tar.gz

（1）解压hadoop安装包  tar zxvf hadoop-2.7.0.tar.gz

此处语句与java1.8安装类似，在/ops下创建目录hadoop-2.7.0，将文件移入，并解压，系统中解压时语句过长，所写语句被隐藏，这里用结果代替：

（2）修改主机名 

     gedit  /etc/hostname    使用hostname命令查看修改后的主机名  master   host_21

这里主机命名为master

（3）添加主机名和对应的ip                   

     gedit  /etc/hosts

     添加 

    192.168.1.106(本机IP)   master（本地机器名字）  

    127.0.0.1       localhost（原来存在的一行，需保留）

  

#192.168.1.107 slave

 

本机IP为192.168.0.106

（4）安装SSH

apt-get install openssh-server openssh-client

….

查看是否移动SSH服务 ps -e | grep sshd

（5）建立SSH互信

（5.1）

（5.2）

（6）设置hadoop环境变量

（7） hadoop配置文件设置

   （7.1）进入到/opt/hadoop-2.7.0/etc/hadoop目录

（这里是/opt/hadoop-2.7.0/hadoop2.7.0/etc/Hadoop）

   （7.2）编辑core-site.xml（注意：第一行前面的空格需要删掉）

（7.3）编辑yarn-site.xml

（7.4）编辑mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

gedit mapred-site.xml（这两句在终端输入）

（7.5）gedit hdfs-site.xml（注意修改路径）

（7.6）gedit hadoop-env.sh

（7.7）gedit slaves 

（8）启动hadoop

进入目录/opt/hadoop-2.7.0/bin

（8.1）hadoop namenode -format

进入到目录/opt/hadoop-2.7.0/sbin

（8.2）./start-all.sh

有的时候运行着停了，我会按enter键，然后他会提示____ permission denied，我就再输一次密码，就接着运行了

（8.3）jps

 (9) 停止hadoop  ./stop-all.sh