Hadoop环境搭建（3）

伪分布部署

（1）部署环境

1.hadoop目录下部署环境配置

配置：hadoop-env.sh配置jdk环境变量JAVA_HOME

1.配置core-site.xml文件

Vi core-site.xml

指定HDFS中namenode的地址。将命令放到configuration标签中

<configuration>

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop100:9820</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data/tmp</value>

</property>

</configuration>

3.配置hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

4.启动集群

格式化namenode

命令：

hdfs namenode -format

启动namenode

命令：

hdfs  --daemon  start  namenode

查看进行

命令：jps

启动一个datanode

hdfs  --daemon start datanode

Jsp查看java进程

命令：jsp

在HDFS中创建文件夹/user/input

命令：hdfs dfs -mkdir -p /user/input

将文件上传到HDFS

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径  

注意，这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /user/input/wc.input

执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

案例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /user/output/*

1. 停止进程 hdfs –daemon stop namenode