配置主机名
vi /etc/sysconfig/network
添加下列内容,保存并关闭
NETWORKING=yes
HOSTNAME=你的主机名称
vi /etc/hosts
添加下列内容,保存并关闭
你的ip 你的主机名
然后需要重启reboot才能生效
设置ssh免密登录
一次执行下列命令
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
**如果提示找不到命令自行百度安装ssh
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
安装hadoop
将hadoop 的linux版本安装包放在自己的文件夹下(可以自己自定义文件夹)
cd /data/software/hadoop/
ls
这里有相关资源可以下载:https://blog.csdn.net/qq_38892122/article/details/104943760
解压
tar -zxvf hadoop-3.2.1.tar.gz
解压完成后进入解压文件的/etc/hadoop/目录下,修改hadoop环境配置
cd hadoop-3.2.1/etc/hadoop/
ls
编辑hadoop-env.sh
vi hadoop-env.sh
将以下内容添加到文件末尾中(替换成你自己的java安装目录),保存退出
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
继续修改配置文件
vi core-site.xml
在<configuration>
中添加以下内容,保存退出.
<property>
<name>fs.defaultFS</name>
<value>hdfs://fycc:9000</value>
</property>
vi hdfs-site.xml
在<configuration>
中添加以下内容,保存退出.
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vi mapred-site.xml
在<configuration>
中添加以下内容,保存退出.
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.admin.user.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>
vi yarn-site.xml
在<configuration>
中添加以下内容,保存退出.
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改配置文件,把hadoop安装目录配置到环境变量中
vi /etc/profile
在文件末尾添加以下内容
HADOOP_HOME=/data/software/hadoop/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
让配置文件生效
source /etc/profile
格式化NameNode
在任意目录下执行命令
hdfs namenode - format 或者 hadoop namenode -format
启动hadoop进程
./start-dfs.sh
启动失败,hadop的 sbin路径下修改
vi start-dfs.sh
在文件头部添加以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vi stop-dfs.sh
在文件头部添加以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
在start-yarn.sh,stop-yarn.sh顶部也需添加以下:
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
再次启动 ./start-dfs.sh
启动Yarn
./start-yarn.sh
启动之后在任意目录下执行jps命令验证进程是否正常启动