Hadoop环境搭建，安装

Hadoop安装
1.创建虚拟机，安装CentOS7
安装CentOS7映像文件，也可以选择稍后安装
选择操作系统安装过程中的语言

最小安装为命令行窗口，如果希望使用图形界面，可以选择GNOME桌面
创建root用户和普通用户，设立密码
接受协议
2.hadoop基础环境的配置
前置操作：使我所创建的普通用户获得管理员权限
操作方法如下
1）切换到管理员用户，切换方法略
2）打开/etc/sudoers 命令1：chmod u+w /etc/sudoers
命令2：vim /etc/sudoers 或者从图形界面打开/etc/sudoers
复制第98行：root ALL=(ALL) ALL
在第99行复制并更改用户名：wang（改成自己的用户名） ALL=(ALL) ALL
3）被认可的用户使用特权命令时，需要在特权命令前加上sudo
关闭防火墙
查看防火墙状态
Systemctl status firewalld.service
关闭防火墙
Systemctl strop firewalld.service
查看服务开启启动项列表
Systemctl list-unit-files
设置防火墙开机不自动启动
Systemctl disable firewalld.service
jdk安装
复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压
Tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
打开并编辑用户目录下的.\bashrc文件
Vim ~/.bashrc
在正文的后面添加以下内容
Export JAVA_HOME=/home/wang/java/jdk
Export PATH=$PATH:$JAVA_HOME/bin

保存退出
让该文件立即生效
Source ~/.bashrc
卸载已有jdk（可选）
查询已安装包名中包含jdk的
Rpm -qa |grep jdk
卸载方法
Rpm -e 包名 --nodeps（忽略依赖关系）


使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

3.hadoop的安装
首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。
将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便）
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/wang/java/jdk
export HADOOP_HOME=/home/wang/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
改完后，执行source命令令其立即生效
使用hadoop version验证是否成功
4.hadoop的配置
在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
1)Hadoop-env.sh 改第一个
export JAVA_HOME=/home/wang/java/jdk

2)Yarn-env.sh 改第二个，if 上面
export JAVA_HOME=/home/wang/java/jdk

3)Core-site.xml
在configuration标签中添加以下变量和值

fs.defaultFS
hdfs://node-1:9000


hadoop.tmp.dir
/home/wang/hadoop/hadoop/tmp

4)Hdfs-site.xml
#(如果不设置该参数，则默认值为3)
dfs.replication
2

#(如果不设置该参数，则默认值为KaTeX parse error: Expected 'EOF', got '#' at position 137: …rty> <property>#̲(如果不设置该参数，则默认值为hadoop.tmp.dir/dfs/data)
dfs.datanode.data.dir
/home/wang/hadoop/hadoop/tmp/dfs/data


5)Mapred-site.xml

mapreduce.framework.name
yarn


6)Yarn-site.xml

yarn.resourcemanager.address
rmhostname:8032


7)Slaves
在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改）

5.格式化并启动hadoop
hadoop namenode -format格式化
start-all.sh启动守护进程