Hadoop的安装与配置

Hadoop基础环境的配置

1.使自己创建的用户获得管理员权限
（1）打开/etc/sudoers 命令1：chmod u+w /etc/sudoers
命令2：vim /etc/sudoers 复制第98行：root ALL=(ALL) ALL
在第99行复制并更改用户名：jmk（此处为自己创建用户名） ALL=(ALL) ALL
(2) 此时用户使用特权命令在命令前面加上sudo 即可实现。
2配置网络
（1）在图形界面中，打开网络连接的有线设置->齿轮->ipv4->地址选择手动，填写网络信息就可以了。但是网络信息必须符合网络规则（编辑中有虚拟网络编辑器）
在命令行中：
打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
添加以下配置
IPADDR=192.168.218.10
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8

最后，重启网络
service network restart
3关闭防火墙
查看防火墙状态
Systemctl status firewalld.service
关闭防火墙
Systemctl strop firewalld.service
查看服务开启启动项列表
Systemctl list-unit-files
设置防火墙开机不自动启动
Systemctl disable firewalld.service

4
免密登录
Ssh-keygen -t rsa
Cd
Cd .ssh
将公钥文件拷贝成authorized_keys
Cp id_rsa.pub authorized_keys
验证
（ ） 本节点主机名，若无需输入密码可直接登录则设置成功
5
jdk安装
复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压
Tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
打开并编辑用户目录下的.\bashrc文件
Vim ~/.bashrc
在正文的后面添加以下内容
Export JAVA_HOME=/home/ryan/java/jdk
Export PATH=$PATH:$JAVA_HOME/bin
保存退出
让该文件立即生效
Source ~/.bashrc

6
hadoop的安装
首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。
将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便）
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/ryan/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
改完后，执行source命令令其立即生效
使用hadoop version验证是否成功
7
hadoop的配置
在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
Hadoop-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Yarn-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Core-site.xml
在configuration标签中添加以下变量和值

fs.defaultFS
hdfs://node-1:9000


hadoop.tmp.dir
/home/ryan/hadoop/hadoop/tmp

Hdfs-site.xml
(如果不设置该参数，则默认值为3)
dfs.replication
2

(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)<name>dfs.namenode.name.dir</name><value>/home/ryan/hadoop/hadoop/tmp/dfs/name</value></property><property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)
dfs.datanode.data.dir
/home/ryan/hadoop/hadoop/tmp/dfs/data

Mapred-site.xml

mapreduce.framework.name
yarn

Yarn-site.xml

yarn.resourcemanager.address
rmhostname:8032

Slaves