hadoop(1):搭建伪分布式

1.新建用户并添加sudo权限

#添加用户
useradd master01
#修改密码
passwd master01
#修改sudoers文件权限
chmod 777 /etc/sudoers
#修改sudoers文件
vi /etc/sudoers
#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行
master01 ALL=(ALL)      ALL
#将sudoers文件权限改回来
chmod 440 /etc/sudoers
#修改hosts文件
vi /etc/hosts
#在/etc/hosts下添加一行，192.168.132.101改成对应服务器ip
192.168.132.101 master01

2.时间修改

#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#修改时间
#查看硬件的时间
hwclock --show
#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间
hwclock --set --date '2024-02-...'
#设置系统时间和硬件时间同步
hwclock --hctosys
#保存时钟
clock -w

3.安装jdk环境

下载地址：https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址：https://www.oracle.com/java/technologies/downloads/#java8

#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz
#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA_HOME/bin:$PATH
#刷新环境变量
source /etc/profile
#验证
java -version

4.安装hadoop

下载地址：https://dlcdn.apache.org/hadoop/common

#解压
tar -zxvf hadoop-3.3.6.tar.gz
#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#刷新环境变量
source /etc/profile
#验证
hdfs version

5.ssh免密

#安装ssh
yum install ssh
#生成RSA密钥和公钥，-t表示type
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#修改下authorized_keys的权限，否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys
#验证是否免密成功
ssh localhost
#退出免密的localhost（上一步只是验证，验证后退出下）
exit

6.hadoop配置hdfs

1）修改hadoop-env.sh文件，添加启动的java路径，分布式部署后，每个地方的java路径不一定相同

#编辑hadoop-env.sh文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA_HOME=/usr/java/jdk

2）修改core-site.xml文件，添加启动的namenode节点和对应端口

#编辑core-site.xml文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml
#修改并添加namenode启动ip为localhost，端口为9000
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master01:9000</value>
    </property>
</configuration>

3）修改hdfs-site.xml文件，添加副本数量、hdfs的web访问地址

#编辑hdfs-site.xml文件
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
#设置副本数量为1，并设置hdfs的web访问地址为localhost的50070端口
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  	<property>
    	<name>dfs.http.address</name>
    	<value>master01:50070</value>
  	</property>
</configuration>

7.格式化namenode并启动hdfs

1）修改文件权限，然后用对应用户master01来启动

#修改文件夹权限
chown -R master01 /usr/hadoop
#赋予文件夹读写执行权限
chmod -R 744 /usr/hadoop

2）格式化namenode

hdfs namenode -format

3）启动hdfs

start-dfs.sh

4）查询是否启动（NameNode,DataNode,SecondaryNameNode）

jps

5）可以通过http://192.168.132.101:50070查看hdfs管理页面，ip是对应服务器的ip

8.hadoop配置MapReduce

1）修改mapred-site.xml文件，配置MapReduce作业的运行时框架

#编辑mapred-site.xml文件
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
#配置MapReduce作业的运行时框架为yarn
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2）修改yarn-site.xml文件，配置MapReduce运行时需要设置的shuffle服务及配置yarn的web访问地址

#编辑yarn-site.xml文件
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
#配置MapReduce运行时需要设置的shuffle服务及yarn的web访问地址
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.132.101:8088</value>
  </property>
</configuration>

9.启动mapreduce及验证

1）启动yarn

start-yarn.sh

2）查询是否启动（ResourceManager,NodeManager）

jps

3）可以通过http://192.168.132.101:8088查看yarn管理页面，ip是对应服务器的ip