Hadoop伪分布式部署

1. 部署JDK
2. 配置JDK环境变量
3. 部署Hadoop伪分布式
4. 配置Hadoop环境变量
5. 配置Hadoop进程配置文件
6. 配置无密登录
7. 数据格式化
8. 检查进程

 

(一)部署JDK

• 解压JDK压缩文件到安装目录下  tar -zxvf jdk-xxxx.tar.gz -C /soft
• 创建软连接 ln -s /soft/jdk-xxxx /soft/jdk

 

(二)配置JDK环境变量

• 编辑系统环境变量文件    vim /etc/environment
• 添加变量值    JAVA_HOEM=/soft/jdk
• PATH变量追加 :/soft/jdk/bin

 

(三)部署Hadoop

• 解压Hadoop压缩文件到安装目录    tar -zxvf hadoop-xxxxx.tar.gz -C /soft
• 创建软连接    ln -s /soft/hadoop-xxxxxx /soft/hadoop

 

(四)配置Hadoop环境变量

• 编辑系统环境变量文件    vim /etc/environment
• 添加变量值    HADOOP_HOME=/soft/hadoop
• PAHT变量追加    :/soft/hadoop/bin:/soft/hadoop/sbin

 

(五)配置Hadoop进程配置文件

• 编辑core-site.xml    vim /soft/hadoop/etc/hadoop/core-site.xml
• 添加配置

  <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <configuration>      <property>             <name>fs.defaultFS</name>             <value>hdfs://localhost/</value>      </property> </configuration>

• 编辑hdfs-site.xml    vim /soft/hadoop/etc/hadoop/hdfs-site.xml 
• 添加配置

  <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <configuration>     <property>         <name>dfs.replaction</name>         <value>1</value>     </property> </configuration>

• 编辑mapred-site.xml    vim /soft/hadoop/etc/hadoop/mapred-site.xml
• 添加配置

  <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <configuration>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property> </configuration>

• 编辑yarn-site.xml    vim /soft/hadoop/etc/hadoop/yarn-site.xml
• 添加配置

  <?xml version="1.0"?> <configuration>      <property>         <name>yarn.resourcemanager.hostname</name>         <value>localhost</value>     </property>       <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property> </configuration>

(六)配置无密登录

• 安装ssh远程软件    yum install openssh-server(Centos系统) 或者 apt install ssh(Ubuntu系统)
• 生成公钥和私钥    ssh-keygen
• 生成authorized_keys文件    ssh-copy-id -i .ssh/id_rsa.pu localhost

 

(七)数据格式化

• hdfs namenode -format

 

(八)检查进程

• jps     NN DN SNN RM NM