hadoop安装步骤

Cmd中输入ipconfig查找到ip

在虚拟机中配置网络：vi /etc/sysconfig/network-scripts/ifcfg-ens33 记住一定要擅用table键，不要自己去敲容易错

vi /etc/resolv.conf

Service network restart 重启网卡
看是否能够连接网络ping www.baidu.com ping自己的网关

如何查看自己的ip :ip addr
连接xshell和xftp6

查看防火墙的当前状态：systemctl status firewalld.service

关闭防火墙：systemctl stop firewalld.service

禁用防火墙：systemctl disable firewalld.service

关闭超级防火墙：vi /etc/selinux/config

修改主机名：hostnamectl set-hostname +主机名
更改IP主机名和映射vi /etc/hosts

修改这个里面的：windows/system32/drivers/etc/hosts

如果没有hosts自己新建一个保存
上传jdk、hadoop,在opt目录下面新建两个文件：mkdir software module
将jdk、hadoop包放在software目录下面，进入sofware目录下cd /opt/software，解压到module里面，解压命令：tar-zxvf 安装包 -C/opt/module

tar -zxvf jdk-8u221-linux-x64.tar.gz -C/opt/module
tar -zxvf hadoop-2.7.4.tar.gz -C/opt/module

cd 到jdk里面
pwd配置jdk的绝对路径
vi /etc/profile
安装jdk
mkdir ./software 在当前路径下创建一个software的这个安装包
ll 查看当前目录下有哪些包
cd /opt/software进入当前路径
tar -zxvf jdk-8u221-linux-x64.tar.gz -C/opt/module解压jdk，解压到module里面
cd /opt/module 进入这个目录
cd - 返回上一级操作的目录
配置jdk路径
cd /opt/module 到配置路径的地方
cd jdk1.8.0_221/ 到jdk的这个路径下面
pwd 查看当前包所在的绝对路径，把这个路径复制下来
vi /etc/profile 修改路径
把之前复制的路径放过来
第一种配置环境的方法
export JAVA_HOME=/opt/module/jdk1.8.0_221
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
第二种配置环境的方法
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221
exoprt PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile 使环境变量生效
查看jdk是否安装成功 java -version
看hadoop是否安装成功start-dfs.按table键看是否能够出来.sh
jps是看进程
find . -user root 所有用户

配置环境后记得source /etc/profile
查看是否安装的jdk java -version

安装zip yum install zip
伪分布式搭建:
cd /etc/Hadoop
cd hadoop-2.7.4/etc/Hadoop
vi core-site.xml

core-site.xml:

fs.defaultFS hdfs://主机名 1:9000 hadoop.tmp.dir /opt/module/hadoop-2.X.X/data/tmp hdfs-site.xml dfs.replication 3 dfs.namenode.secondary.http-address 主机名 1:50090 dfs.permissions false yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname 主机名 1 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800 mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address 主机名 1:10020 mapreduce.jobhistory.webapp.address 主机名 1:19888 hadoop-env.sh、yarn-env.sh、mapred-env.sh（分别在这些的文件中添加下面的路径） export JAVA_HOME=/opt/module/jdk1.8.0_144（注：是自己安装的路径） slaves bigdata111、bigdata112、bigdata113（自己设置的主机名 格式化 Namenode： hdfs namenode -format  启动集群得命令： Namenode 的主节点：sbin/start-dfs.sh Yarn 的主节点：sbin/stop-yarn.sh 注意：Namenode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 yarn，应该在 ResouceManager 所在的机器上启动 yarn。  scp 文件传输 实现两台远程机器之间的文件传输（bigdata112 主机文件拷贝到 bigdata113 主机上） scp -r [文件] 用户@主机名：绝对路径