hadoop 伪分布式安装

安装之前的配置

1. 安装java 环境
2. 安装单机hadoop

Hadoop 的集群配置

配置core-site.xml和hdfs-site.xml

进入/usr/local/hadoop/etc/hadoop 中配置core-site.xml和hdfs-site.xml 文件

cd /usr/local/hadoop/etc/hadoop

core-site.xml

vim core-site.xml
添加以下内容

 <configuration>
 		<property>
               <name>hadoop.tmp.dir</name>
               <value>file:/usr/local/hadoop/tmp</value>
               <description>Abase for other temportory directories.<description>
  		</property>
   		<property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
   		</property>
</configuration>

保存并退出

hdfs-site.xml

vim hdfs-site.xml
添加以下内容

<configuration>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    <property>
             <name>dfs.namenode.name.dir</name> 
             <value>file:/usr/localhadoop/tmp/dfs/name</value>
    </property>
    <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/localhadoop/tmp/dfs/data</value>
    </property>
</configuration>

初始化

先进入hadoop中

cd /usr/local/hadoop

执行初始化

./bin/hdfs namenode -format

执行成功会successfully 如下

启用HDFS

在 /usr/local/hadoop目录下执行

./sbin/start-dfs.sh

成功启动如下

无法启动HDFS与解决方法

如果出现以下结果需要在hadoop-env.sh添加JAVA_HOME路径
在/usr/local/hadoop/etc/hadoop 访问vim hadoop-env.sh

vim hadoop-env.sh

在末行添加JAVA_HOME路径

再次启动HDFS

./sbin/start-dfs.sh

查看所有Java进程

jps

HDFS 一些操作

1. 在HDFS中创建hadoop用户的目录

先进入到/usr/local/hadoop才有后续操作

cd /usr/local/hadoop

创建：./bin/hdfs dfs -mkdir -p /user/hadoop

2.在HDFS的/user/hadoop目录下创建test目录 并查看文件目录

创建 ./bin/hdfs dfs -mkdir /user/hadoop/test

查看./bin/hdfs dfs -ls /user/hadoop

3.将本地的~/.bashrc上传到HDFS的test文件夹中 并查看test

上传：./bin/hdfs dfs -put ~/.bashrc /user/hadoop/test

查看./bin/hdfs dfs -ls /user/hadoop/test/

4.将HDFS上的test复制到本地/usr/local/hadoop上

复制: ./bin/hdfs -get /user/hadoop/test /usr/local/hadoop/

查看：find test