Hadoop的安装和配置及遇到的一些问题和解决办法

@TOCHadoop安装步骤及遇到的一些问题和解决办法
#**

一、Hadoop基础环境的配置

**
**

1.0前置操作

**前置操作的目的：使我所创建的普通用户获得管理员权限
操作方法如下：
（1）切换到管理员用户
（2）打开/etc/sudoers
命令1：chmod u+w /etc/sudoers
命令2：vim /etc/sudoers
或者从图形界面直接打开

复制第98行：root ALL=(ALL) ALL

    在第99行粘贴并更改用户名： root1（改成自己的用户名）ALL=(ALL)   ALL

（3）被认可的用户使用特权命令时，需要在特权命令前加上sudo
**

1.1基础网络环境

1.1.1配置网络连通

在图形界面中，打开网络连接的有线设置->齿轮->ipv4->地址选择手动，填写网络信息就可以了。

点击网络后会遇到“系统的网络服务与此版本的网络管理器不兼容问题”
解决办法如下：
打开终端，输入# ifconfig eno16777736 up 回车 输入#ifconfig 回车 输入#NetworkManager回车，这时候再返回图形界面找到网络打开就不会出现刚才那个问题了。

但是网络信息必须符合网络规则（编辑中有虚拟网络编辑器）

**

打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
添加以下配置
IPADDR=192.168.218.10
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8

最后，重启网络
service network restart

1.1.2配置网络地址与主机名的对应关系（可选）

sudo vim /etc/hostname
将此文件内容全部删除，更改为你的当前操作主机的主机名
sudo vim /etc/hosts
在最后新建一行，添加以下内容
IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3

1.1.3关闭防火墙

查看防火墙状态
systemctl status firewalld.service
关闭防火墙
systemctl stop firewalld.service
查看服务开启启动项列表
systemctl list-unit-files
设置防火墙开机不自动启动
systemctl disable firewalld.service

以下是我关闭防火墙时遇到的问题，可能以前关过防火墙，所以它报这个错误，记得上一次就成功了。emmmmmmm

查看服务开启启动列表

设置防火墙开机不自动启动又出现了错误

1.2免密登录

首先生成公私钥
ssh-keygen -t rsa
打开用户目录下的.ssh目录
cd
cd .ssh
将公钥文件拷贝成authorized_keys
cp id_rsa.pub authorized_keys
验证
ssh 本节点主机名，若无需输入密码可直接登录则设置成功

我设置的时候总是出现下面的错误emmmmmm

1.3 jdk安装

复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压
tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
打开并编辑用户目录下的.\bashrc文件
vim ~/.bashrc
在正文的后面添加以下内容
export JAVA_HOME=/home/ryan/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
保存退出

让该文件立即生效
source ~/.bashrc
卸载已有jdk（可选）
查询已安装包名中包含jdk的
rpm -qa |grep jdk
卸载方法
rpm -e 包名 --nodeps（忽略依赖关系）
使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

这里我又出现了一个问题就是自己改的和老师给的一样，但是java -version之后的结果还是原来自带的1.8，也就是我安装的1.7并没有安装成功。

第二节hadoop的安装

首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。
将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便）
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/ryan/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
改完后，执行source命令令其立即生效
使用hadoop version验证是否成功

第三节hadoop的配置

3.1在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
Hadoop-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Yarn-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Core-site.xml
在configuration标签中添加以下变量和值

fs.defaultFS
hdfs://node-1:9000


hadoop.tmp.dir
/home/ryan/hadoop/hadoop/tmp

Hdfs-site.xml
(如果不设置该参数，则默认值为3)
dfs.replication
2

(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)<name>dfs.namenode.name.dir</name><value>/home/ryan/hadoop/hadoop/tmp/dfs/name</value></property><property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)
dfs.datanode.data.dir
/home/ryan/hadoop/hadoop/tmp/dfs/data

Mapred-site.xml

mapreduce.framework.name
root1


Yarn-site.xml

yarn.resourcemanager.address
rmhostname:8032

Slaves
在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改）做完上面的之后
启动hadoop,格式化文件系统的命令
#hadoop namenode – format
#start- all . sh

在这里插入图片描述