Hadoop伪分布式搭建和环境变量配置

1.解压hadoop压缩包
2.移动并重命名

3.cd hadoop260/etc/hadoop
进入该目录下，配置环境，进行5个文件的修改

 
 

3.1 配置hadoop-env.sh

echo $JAVA_HOME   查看路径并复制
vi hadoop-env.sh   进入该文件中将${JAVA_HOME}修改为刚刚所复制的内容 如下图所示
退出并保存

3.2 配置core-site.xml

vi core-site.xml

在标签中添加如下内容

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.56.21:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

并注意插入内容下图两处与你的ip地址和该路径保持一致

保存并退出

 
 
3.3 配置hdfs-site.xml

vi hdfs-site.xml

同样在标签中添加如下内容

<property>
       <name>dfs.replication</name>
       <value>1</value>
 </property>

添加成功退出并保存
 
 

3.4 配置mapred-site.xml

执行拷贝命令
cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

在标签内添加如下内容

 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

保存并退出
 
 

3.5 配置 yarn-site.xml

vi yarn-site.xml

在标签内添加如下内容

 <property>
       <name>yarn.resourcemanager.localhost</name>
       <value>localhost</value>
</property>
 <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
</property>

保存并退出

 
 

4.进入profile进行hadoop配置

vi /etc/profile
文档末尾追加如下内容

export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

注意添加内容第一行的 HADOOP_HOME路径的修改

保存并退出

 
 
5.文件激活
source /etc/profile

 
 
6.格式化
hadoop namenode -format

7.启动检查
start-all.sh    需要输入密码与回复yes

启动成功，访问图形化界面，打开浏览器输入ip地址：50070
如下图所示

  
启动与关闭命令：start-all.sh
stop-all.sh

查看线程jps

  
  
  

hdfs基本命令（与Linux相似）

目的	命令
建单层文件夹	hdfs dfs -mkdir
建多层文件夹	hdfs dfs -mkdir -p
在文件夹中放文件	hdfs dfs -put
读取文件内容	hdfs dfs -cat
复制文件到指定路径	hdfs dfs -get
删除文件夹	hdfs dfs -rm -R
删除文件	hdfs dfs -rm

掰了个掰👾