Hadoop安装与配置

Hadoop基础环境配置

启动方式略
1.0使创建的普通用户获取管理员权限
1.0.1首先使用su命令切换到管理员用户 若出现故障则用sudo su命令

1.0.2打开终端输入 /etc/sudoers
命令1：chmod u+w /etc/sudoers
命令2：vim /etc/sudoers 或者从图形界面打开/etc/sudoers
复制第98行：root ALL=(ALL) ALL
在第99行复制并更改用户名：ryan（改成自己的用户名） ALL=(ALL) ALL

：wq 保存并退出

1.1基础网络环境

1.1.1方法一：在图形界面中，点击右上角选中PCI以太网中的有限设置，点击小齿轮选择IPv4，对照编辑中的虚拟网络编辑器编写网络信息。

方法二：打开终端在命令行中输入 sudo vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
添加以下配置
IPADDR=192.168.218.10
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8

然后重启网络 service network restart

1.1.2 改变主机名
打开终端输入 sudo vim /etc/hostname
将此文件内容全部删除，更改为你的当前操作主机的主机名

将此文件内容全部删除，更改为你的当前操作主机的主机名
sudo vim /etc/hosts
在最后新建一行，添加以下内容
IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3
最后重启虚拟机

修改成功

1.1.3防火墙
查看防火墙状态systemctl status firewalld.service
关闭防火墙systemctl stop firewalld.service
查看服务开启启动项列表systemctl list-unit-files
设置防火墙开机不自动启动systemctl disable firewalld.service
## 1.2免密登录
1…2.1首先生成公司钥
ssh-keygen -t rsa1.21

1.2.2打开用户目录下的.ssh目录，将公钥文件拷贝成authorized_keys
验证
ssh 本节点主机名，若无需输入密码可直接登录则设置成功
1.3 jdk安装
复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压
tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
打开并编辑用户目录下的.\bashrc文件
vim ~/.bashrc
在正文的后面添加以下内容
Export JAVA_HOME=/home/ryan/java/jdk
Export PATH=$PATH:$JAVA_HOME/bin
保存退出!

让该文件立即生效
source ~/.bashrc
查询已安装包名中包含jdk的rpm -qa |grep jdk
使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

卸载已有jdk（可选）
卸载方法
Rpm -e 包名 --nodeps（忽略依赖关系）

第二节hadoop的安装

首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。
将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便直接在文件夹中修改即可）
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
vim打开bashrc文件
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/ryan/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
改完后，执行source命令令其立即生效
使用hadoop version验证是否成功

第三节hadoop的配置

3.1在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
Hadoop-env.sh
export JAVA_HOME=/home/ryan/java/jdk

yarn-env.sh
export JAVA_HOME=/home/ryan/java/jdk

core-site.xml
在configuration标签中添加以下变量和值
< property>
< name >fs.defaultFS< /name >
< value>hdfs://node-1:9000< /value>
< /property>
< property>
< name>hadoop.tmp.dir< /name>
< value>/home/ryan/hadoop/hadoop/tmp< /value>
< /property>

hdfs-site.xml
< property>(如果不设置该参数，则默认值为3)
< name>dfs.replication</ name>
< value> 2< /value>
< /property>
< property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)<name>dfs.namenode.name.dir</name><value>/home/ryan/hadoop/hadoop/tmp/dfs/name</value></property><property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)
< name>dfs.datanode.data.dir</ name>
< value> /home/ryan/hadoop/hadoop/tmp/dfs/data < /value>
< /property>

mapred-site.xml
< property>
< name>mapreduce.framework.name</ name>
< value>yarn< /value>
< /property>

yarn-site.xml
< property>
< name>yarn.resourcemanager.address< /name>
< value>rmhostname:8032 < /value>
< /property>

vim打开slaves
在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改）
把里面的localhost删掉，写上，
node-2
node-3
3.2格式化并启动hadoop
3.3根据运行日志定位问题点